資訊爆炸下,搜尋引擎技術按索引方式、查詢方式、語種分類,本文深度解析四大核心類型:
Yahoo、搜狐代表。專家人工分類建立多層主題索引。優點:高準確度;缺點:收集慢、查全率低、僅網站級索引。
三模組:採集(爬蟲/Spider)、處理、查詢。多線程並發,核心組件:URL 伺服器、爬蟲、儲存器、URL 解析器、標引器。資料庫:資源庫、錨庫、連結庫。流程:URL 伺服器派發 → 爬蟲抓取 → 儲存器壓縮入庫 → 標引器分析連結存錨庫 → URL 解析器解析轉 docID → 建立順排索引。附系統架構圖。
又稱聚合搜尋。無自有資料庫/爬蟲,充當中介代理:接收查詢 → 轉譯為各引擎語法 → 並行查詢多引擎 → 綜合相關度排序 → 回傳結果 → 快取備查。架構含 WWW 伺服器、結果資料庫、檢索式處理、Web 處理介面、結果生成。優點:查全率高、範圍廣、查準率不低。
在一般引擎基礎上加「語言翻譯」與「結果整合」兩功能。兩種架構:單一引擎基礎、多引擎基礎。核心涉及資訊檢索與機器翻譯。流程:用戶提交檢索詞 → 語言識別 → 詞法/結構分析 → 翻譯成多語言檢索式 → 提交檢索 → 回傳多語種結果。多引擎模式下,依語言特性分派(如中文派新浪、英文派 Yahoo)。
知識發現 knowledge)。跨語言技術打破語言障礙,是全球化資訊存取關鍵。