User-agent: *
Disallow: /dede/ # 後台目錄,建議改名
Disallow: /include/ # 核心程式
Disallow: /member/ # 會員中心
Disallow: /plus/ # 插件目錄(search.php 可單獨 Allow)
Disallow: /templets/ # 模板目錄
Disallow: /data/ # 緩存/數據
Disallow: /uploads/ # 上傳檔案(不想被圖片搜索可禁)
Disallow: /images/ # 模板圖片
Disallow: /index.php # 動態首頁(已靜態化建議禁)
Disallow: /404.html
Allow: /plus/search.php # 釋放搜索頁
改名為 dedecms 後,若直接寫 Disallow: /dedecms/ 會洩露真實路徑。使用通配符模糊匹配:
Disallow: /d*ms/
既屏蔽抓取,又不洩露完整目錄名。
未偽靜態時,欄目首頁存在兩個 URL:/web/ 與 /web/list_1_1.html。建議先偽靜態將首頁統一為 /web/,再在 robots 中屏蔽分頁首頁:
Disallow: /*1.html$