萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 網路安全 >  >> 網路基礎知識

如何檢測百度已收錄的死鏈?Xenu工具+正則腳本批量導出404鏈接提交站長平台

痛點:網站被黑產生大量死鏈,百度無現成檢測工具

網站遭入侵清理惡意頁面後,遺留大量被百度收錄的死鏈(404頁面),嚴重影響搜索評價。百度站長平台雖提供死鏈提交工具,但缺乏「檢測哪些已收錄鏈接是死鏈」的功能。本文提供一套「Xenu爬蟲+正則提取+批量提交」的完整解決方案。

工具準備:Xenu Link Sleuth v1.3.8

下載Xenu(綠茶軟件園或官網均可),這款經典免費工具可模擬搜索引擎爬蟲抓取所有鏈接並返回HTTP狀態碼。

四步走:從收錄鏈接到死鏈清單

  1. 構造Site查詢URL:使用百度簡版減少干擾
    https://www.baidu.com/s?ie=utf-8&tn=baidulocal&wd=site%3Awww.yourdomain.com
  2. Xenu掃描:將上述URL作為起始頁面掃描,等待完成;
  3. 導出制表符文件:文件格式為「URL + 空格 + 狀態碼」;
  4. 正則提取404鏈接:使用PHP腳本匹配/http:\/\/www.yourdomain.com(.*?)\s404/i,批量導出死鏈清單。

腳本使用說明(附代碼邏輯)

將導出文件路徑配置到PHP腳本,修改$head為站點主域名(如https://www.baidu.com/),$state為404,運行get.php即可生成純文本死鏈列表。上傳至網站根目錄,在百度站長平台「死鏈提交」填入文件地址提交。

擴展應用

同樣邏輯可用於:

  • 檢測其他搜索引擎(Google、360、搜狗)收錄死鏈;
  • 修改正則提取標題、描述等SEO元數據;
  • 定期自動化監控站點鏈接健康度。
copyright © 萬盛學電腦網 all rights reserved