在Nginx中攔截特定用戶代理的教程

 　　這篇文章主要介紹了在Nginx中攔截特定用戶代理的教程,並為這些被攔截的用戶設置一個黑名單以方便管理,需要的朋友可以參考下

　　現代互聯網滋生了大量各種各樣的惡意機器人和網絡爬蟲，比如像惡意軟件機器人、垃圾郵件程序或內容刮刀，這些惡意工具一直偷偷摸摸地掃描你的網站，干些諸如檢測潛在網站漏洞、收獲電子郵件地址，或者只是從你的網站偷取內容。大多數機器人能夠通過它們的“用戶代理”簽名字符串來識別。

　　作為第一道防線，你可以嘗試通過將這些機器人的用戶代理字符串添加入robots.txt文件來阻止這些惡意軟件機器人訪問你的網站。但是，很不幸的是，該操作只針對那些“行為良好”的機器人，這些機器人被設計遵循robots.txt的規范。許多惡意軟件機器人可以很容易地忽略掉robots.txt，然後隨意掃描你的網站。

　　另一個用以阻擋特定機器人的途徑，就是配置你的網絡服務器，通過特定的用戶代理字符串拒絕要求提供內容的請求。本文就是說明如何在nginx網絡服務器上阻擋特定的用戶代理。

　　在Nginx中將特定用戶代理列入黑名單

　　要配置用戶代理阻擋列表，請打開你的網站的nginx配置文件，找到server定義部分。該文件可能會放在不同的地方，這取決於你的nginx配置或Linux版本(如，/etc/nginx/nginx.conf,/etc/nginx/sites-enabled/,/usr/local/nginx/conf/nginx.conf,/etc/nginx/conf.d/)。

　　 代碼如下:

　　server {

　　listen 80 default_server;

　　server_name xmodulo.com;

　　root /usr/share/nginx/html;

　　....

　　}

　　在打開該配置文件並找到 server 部分後，添加以下 if 聲明到該部分內的某個地方。

　　 代碼如下:

　　server {

　　listen 80 default_server;

　　server_name xmodulo.com;

　　root /usr/share/nginx/html;

　　# 大小寫敏感的匹配

　　if ($http_user_agent ~ (Antivirx|Arian) {

　　return 403;

　　}

　　#大小寫無關的匹配

　　復制代碼 代碼如下:

　　if ($http_user_agent ~* (netcrawl|npbot|malicious)) {

　　return 403;

　　}

　　....

　　}

　　如你所想，這些 if 聲明使用正則表達式匹配了任意不良用戶字符串，並向匹配的對象返回403 HTTP狀態碼。 $http_user_agent是HTTP請求中的一個包含有用戶代理字符串的變量。‘~'操作符針對用戶代理字符串進行大小寫敏感匹配，而‘~*'操作符則進行大小寫無關匹配。‘|'操作符是邏輯或，因此，你可以在 if 聲明中放入眾多的用戶代理關鍵字，然後將它們全部阻擋掉。

　　在修改配置文件後，你必須重新加載nginx以激活阻擋：

　　?

1 $ sudo /path/to/nginx -s reload

　　你可以通過使用帶有 “--user-agent” 選項的 wget 測試用戶代理阻擋。

　　?

1 $ wget --user-agent "malicious bot" http://<nginx-ip-address>

　　管理Nginx中的用戶代理黑名單

　　目前為止，我已經展示了在nginx中如何阻擋一些用戶代理的HTTP請求。如果你有許多不同類型的網絡爬蟲機器人要阻擋，又該怎麼辦呢?

　　由於用戶代理黑名單會增長得很大，所以將它們放在nginx的server部分不是個好點子。取而代之的是，你可以創建一個獨立的文件，在該文件中列出所有被阻擋的用戶代理。例如，讓我們創建/etc/nginx/useragent.rules，並定義以下面的格式定義所有被阻擋的用戶代理的圖譜。

　　?

1 $ sudo vi /etc/nginx/useragent.rules

　　復制代碼 代碼如下:

　　map $http_user_agent $badagent {

　　default 0;

　　~*malicious 1;

　　~*backdoor 1;

　　~*netcrawler 1;

　　~Antivirx 1;

　　~Arian 1;

　　~webbandit 1;

　　}

　　與先前的配置類似，‘~*'將匹配以大小寫不敏感的方式匹配關鍵字，而‘~'將使用大小寫敏感的正則表達式匹配關鍵字。“default 0”行所表達的意思是，任何其它文件中未被列出的用戶代理將被允許。

　　接下來，打開你的網站的nginx配置文件，找到裡面包含 http 的部分，然後添加以下行到 http 部分某個位置。

　　復制代碼 代碼如下:

　　http {

　　.....

　　include /etc/nginx/useragent.rules

　　}

　　注意，該 include 聲明必須出現在 server 部分之前(這就是為什麼我們將它添加到了 http 部分裡)。

　　現在，打開nginx配置定義你的服務器的部分，添加以下 if 聲明：

　　 代碼如下:

　　server {

　　....

　　if ($badagent) {

　　return 403;

　　}

　　....

　　}

　　最後，重新加載nginx。

　　?

1 $ sudo /path/to/nginx -s reload

　　現在，任何包含有/etc/nginx/useragent.rules中列出的關鍵字的用戶代理將被nginx自動禁止。