萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 電腦基礎知識 >  >> 電腦基本常識

通過 .htaccess 徹底屏蔽不良蜘蛛:從 robots 失效到 User-Agent 精準攔截

周前分享《SEO 診斷:透過 Log 找死結》,最後用 robots 屏蔽。一周後三大主流蜘蛛抓取銳減,證明 robots 生效。但 11 號起,日志出現大量中文非主流蜘蛛:YandexBot、AhrefsBot、ezooms.bot。按慣例 robots 屏蔽,以為搞定,隔天日志看:垃圾蜘蛛更頻繁、更兇猛,尤以 ezooms.bot 為甚。懷疑其違反 Robots 協議。

日誌分析發現

14 號日誌導入 Excel 篩選:全天訪問記錄 342 次,AhrefsBot & ezooms.bot 佔多數。(註:輸入 "Bot" 篩選;國外蜘蛛稱 Bot,國內稱 Spider)

ezooms.bot 是何方神聖?

百度無記錄,谷歌滿屏英文。啃了 7-8 篇國外博文,眾說紛紜:有說是 SEOMoz Bot,有說是采集器,評價極差——吸血鬼、水蛭。截圖為證:

確認無任何幫助,決心屏蔽。因其不守 Robots 協議,想起 .htaccess 屏蔽 IP 段法。國外博文多提及,IP 段與日誌吻合:

但屏蔽整段 IP 可能誤殺。尋找更穩妥法,最終找到 .htaccess 按 User-Agent 屏蔽規則:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Ezooms
RewriteCond %{HTTP_USER_AGENT} ^Ezooms/1.0
RewriteRule ^(.*)$ https://getlostbadbot/

具體 RewriteCond 參數請查閱 Apache 文檔,筆者亦在學習中。以上為個人屏蔽惡意蜘蛛真實經歷,望助同行。SEO 在不斷學習中進步。

copyright © 萬盛學電腦網 all rights reserved