面對超過 8 億網頁、9TB 有效資料、每 4 月翻倍的資訊爆炸,搜尋引擎成為導航關鍵。按資訊索引方式、查詢方式、語種可分多類:
代表:Yahoo、搜狐。分類專家人工將網路資訊分層建立主題索引(5-10+ 層)。優點:準確度高;缺點:人工收集慢、查全率低、屬網站級搜尋。
三大模組:資訊採集(爬蟲/Spider)、資訊處理、資訊查詢。採多線程並發,含 URL 伺服器、爬蟲、儲存器、URL 解析器、標引器輔助,資料庫含資源庫、錨庫、連結庫。流程:URL 伺服器發送 URL → 爬蟲抓取網頁 → 儲存器壓縮存入 → 標引器分析連結存錨庫 → URL 解析器解析轉 docID → 建立順排索引入索引庫。
理解技術架構有助於選擇適合的搜尋工具與優化 SEO 策略。