現代網路環境中,惡意機器人與網頁爬蟲層出不窮——從惡意軟體機器人、垃圾郵件收集程式到內容刮取工具,它們潛伏在網站間掃描漏洞、竊取郵件地址或盜取內容。大多數機器人可透過「User-Agent」特徵字串識別,而 Nginx 作為高效能 Web 伺服器,提供了靈活的封鎖機制,讓我們能在第一道防線攔截這些威脅。
雖然在 robots.txt 中列出惡意 User-Agent 可阻擋「守規矩」的爬蟲,但絕大多數惡意機器人會直接無視此協定,繼續肆意掃描。因此,必須在 Web 伺服器層面直接拒絕請求,才能真正有效防禦。
打開網站的 Nginx 設定檔(常見路徑:/etc/nginx/nginx.conf、/etc/nginx/sites-enabled/your-site 等),在 server 區塊內加入 if 判斷:
server {
listen 80 default_server;
server_name example.com;
root /usr/share/nginx/html;
# 大小寫敏感匹配
if ($http_user_agent ~ (Antivirx|Arian)) {
return 403;
}
# 大小寫不敏感匹配
if ($http_user_agent ~* (netcrawl|npbot|malicious)) {
return 403;
}
...
}
$http_user_agent 變數保存請求的 User-Agent 字串;~ 為大小寫敏感正則匹配,~* 則為不敏感;| 代表邏輯「或」,可一次列出多個關鍵字。修改完成後,執行 sudo nginx -s reload 重新載入生效。

當封鎖清單龐大時,直接寫在 server 區塊不利維護。建議建立獨立規則檔 /etc/nginx/useragent.rules:
map $http_user_agent $badagent {
default 0;
~*malicious 1;
~*backdoor 1;
~*netcrawler 1;
~Antivirx 1;
~Arian 1;
~webbandit 1;
}
default 0 表示未列入清單的 User-Agent 預設允許通行。接著在 http 區塊(必須在 server 之前)引入此檔:
http {
...
include /etc/nginx/useragent.rules;
}
最後在 server 區塊加入判斷:
server {
...
if ($badagent) {
return 403;
}
...
}
再次 nginx -s reload 即可啟用。此架構讓黑名單管理更清晰、擴充更彈性,是生產環境的最佳實踐。