早期搜尋引擎無法執行 JavaScript,導致:
引入 JS 解析引擎,目的是還原用戶瀏覽器實際看到的頁面 DOM,準確判斷頁面價值。
JS 執行需完整的 DOM API、BOM API、事件循環、網絡請求等。搜尋引擎需在離線、高併發、資源受限環境下模擬這一切。
站長常用三步驟:定位目標 → 準備數據 → 執行寫入。對應 DOM API:
getElementById、getElementsByTagName、querySelectorAll、parentNode/nextSibling 遍歷createElement、createTextNodeappendChild、insertBefore、innerHTMLsetAttribute、element.href = ...解析器需實現上述 API,隨站長代碼調用自然發現鏈接。
三種綁定方式:
<a href="javascript:func()"><a onclick="js_code">element.addEventListener('click', handler)解析器需:收集所有 click 監聽器 → 依次觸發(先檢查監聽器是否仍存在) → 攔截 location.href=、window.open() 等跳轉 API → 記錄目標 URL。
核心 API:document.write() —— 最古老、仍廣泛使用的直接寫入 HTML 片段方法。
document.write(寫入 <script> 再寫入)需 HTML 解析器支援嵌套寫入無論代碼如何混淆,最終必調用:
location.href = ...location.replace()window.open()location.assign()實現 Location 物件攔截即可 100% 捕獲跳轉意圖。
核心不在 XMLHttpRequest/fetch 實現,而在爬蟲架構改造:
document、window、navigator、XMLHttpRequest 等robots.txt 允許 JS/CSS,否則解析器無法工作JS 解析是搜尋引擎邁向「瀏覽器級理解」的關鍵一步。對開發者而言,可被爬蟲正確解析 = 更好的 SEO = 更多流量。遵循漸進增強原則,讓內容在無 JS 環境下也可訪問,始終是最穩健的策略。