2024 年 1 月 23 日,百度網頁搜索正式上線 robots.txt 文件提示功能。當網站通過 robots 協議屏蔽百度蜘蛛抓取部分或全部內容時,搜索結果將直接顯示「由於該網站的 robots.txt 文件存在限制指令,系統無法提供該頁面的內容描述」,並提供「了解詳情」入口,讓站長一鍵查看具體屏蔽規則,快速定位收錄異常原因。
過往站長常遇到:網頁明明存在,百度卻只顯示標題不顯示摘要,或大量頁面不收錄。排查發現,多數源於 robots.txt 誤配置(如誤屏蔽整站、錯誤寫法導致 CSS/JS 無法加載影響渲染)。新功能將「隱形屏蔽」顯性化,大幅降低診斷成本。
僅當網站確有不想被收錄的內容(如後台、測試環境、隱私頁)時才需編寫 robots.txt。若希望全站收錄,請勿創建該文件或保持為空/允許所有。定期檢查 robots 狀態,避免因服務器遷移、CMS 更新導致配置異常。

