robots.txt文件,SEOER們都知道,就是可以設置你網站的哪些內容允許蜘蛛抓取,哪些不允許蜘蛛抓取的一個文件。今日,據百度站長平台最新消息,用戶在百度搜索網址或相關關鍵字時,網頁搜索結果會出現robots提示。簡單地說,如果你的網站設置了robots文件,並且是不允許蜘蛛抓取的,而這個網站對用戶有是有需要的,百度就是根據你輸入的網址或相關關鍵字展示這個網站,不過,這和其它網站不一樣,搜索的結果只出現title中的部分關鍵字,並且不會出現這個網站的元標簽描述部分。對應的元標簽描述部分將由最新上線的robots提示代替,比如,用戶在搜索淘寶網時,出現“由於該網站的robots.txt文件存在限制指令,系統無法提供該頁面的內容描述 - 了解詳情”字樣。
百度這一動作,意味著什麼,筆者就個人看法談談百度些次網頁搜索結果robots出現提示的意義及特點。