萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 腳本程式專題 >> JavaScript

搜尋引擎 JavaScript 解析技術深度解析:讓爬蟲看見真實頁面

背景與動機

早期搜尋引擎無法執行 JavaScript,導致:

  • 遺漏動態載入的核心內容(評論、評分、商品列表)
  • 無法識別 JS 生成的鏈接,影響權重傳遞
  • 作弊者利用 JS 隱藏鏈接、植入廣告、跳轉欺騙

引入 JS 解析引擎,目的是還原用戶瀏覽器實際看到的頁面 DOM,準確判斷頁面價值。

核心挑戰:模擬瀏覽器運行環境

JS 執行需完整的 DOM API、BOM API、事件循環、網絡請求等。搜尋引擎需在離線、高併發、資源受限環境下模擬這一切。

關鍵技術點解析

一、發現動態生成的鏈接

1. 動態寫入/修改 <a> 標籤

站長常用三步驟:定位目標 → 準備數據 → 執行寫入。對應 DOM API:

  • 定位:getElementById、getElementsByTagName、querySelectorAll、parentNode/nextSibling 遍歷
  • 創建:createElement、createTextNode
  • 寫入:appendChild、insertBefore、innerHTML
  • 屬性:setAttribute、element.href = ...

解析器需實現上述 API,隨站長代碼調用自然發現鏈接。

2. 點擊事件攔截跳轉

三種綁定方式:

  1. <a href="javascript:func()">
  2. <a onclick="js_code">
  3. element.addEventListener('click', handler)

解析器需:收集所有 click 監聽器 → 依次觸發(先檢查監聽器是否仍存在) → 攔截 location.href=、window.open() 等跳轉 API → 記錄目標 URL。

二、動態頁面內容渲染

核心 API:document.write() —— 最古老、仍廣泛使用的直接寫入 HTML 片段方法。

  • 早期引擎僅支援字符串字面量匹配
  • 現代 JS 解析器執行完整 JS 引擎,支援字符串拼接、條件判斷、混淆代碼
  • 嵌套 document.write(寫入 <script> 再寫入)需 HTML 解析器支援嵌套寫入

三、頁面跳轉識別

無論代碼如何混淆,最終必調用:

  • location.href = ...
  • location.replace()
  • window.open()
  • location.assign()

實現 Location 物件攔截即可 100% 捕獲跳轉意圖。

四、AJAX 異步數據挑戰

核心不在 XMLHttpRequest/fetch 實現,而在爬蟲架構改造:

  • 傳統爬蟲:抓取 → 解析鏈接 → 入隊列 → 調度抓取
  • 需升級:抓取 → 執行 JS → 發起 AJAX → 等待響應 → 合併 DOM → 再解析鏈接
  • 涉及:渲染隊列、資源調度、超時控制、並發限制、Cookie/Session 維持

JS 解析系統架構三大支柱

  1. 嵌入 JS 引擎:V8 (Chrome)、SpiderMonkey (Firefox)、JavaScriptCore (WebKit) 等成熟開源方案
  2. 實現 DOM/BOM API:依照 W3C HTML/DOM 標準,注入 document、window、navigator、XMLHttpRequest 等
  3. 收錄 .js 檔案:爬蟲必須下載並傳遞給解析器所有引用的外部腳本

給站長的建議

  1. 避免過度複雜的 JS:單頁應用考慮 SSR/SSG(Next.js、Nuxt.js)輸出首屏 HTML
  2. 不要阻擋 .js 抓取:robots.txt 允許 JS/CSS,否則解析器無法工作
  3. 合理劃分靜態/動態:核心內容靜態輸出,非核心(廣告、推薦)異步載入
  4. 使用語義化 HTML:即使 JS 失效,結構仍可被理解

總結

JS 解析是搜尋引擎邁向「瀏覽器級理解」的關鍵一步。對開發者而言,可被爬蟲正確解析 = 更好的 SEO = 更多流量。遵循漸進增強原則,讓內容在無 JS 環境下也可訪問,始終是最穩健的策略。

copyright © 萬盛學電腦網 all rights reserved