網站遭入侵清理惡意頁面後,遺留大量被百度收錄的死鏈(404頁面),嚴重影響搜索評價。百度站長平台雖提供死鏈提交工具,但缺乏「檢測哪些已收錄鏈接是死鏈」的功能。本文提供一套「Xenu爬蟲+正則提取+批量提交」的完整解決方案。
下載Xenu(綠茶軟件園或官網均可),這款經典免費工具可模擬搜索引擎爬蟲抓取所有鏈接並返回HTTP狀態碼。
https://www.baidu.com/s?ie=utf-8&tn=baidulocal&wd=site%3Awww.yourdomain.com/http:\/\/www.yourdomain.com(.*?)\s404/i,批量導出死鏈清單。將導出文件路徑配置到PHP腳本,修改$head為站點主域名(如https://www.baidu.com/),$state為404,運行get.php即可生成純文本死鏈列表。上傳至網站根目錄,在百度站長平台「死鏈提交」填入文件地址提交。
同樣邏輯可用於: