萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> JSP 程式設計

防止網頁內容被采集:基於 HTTP Referer 的訪問來源驗證實戰

背景與風險

內容被惡意采集(爬蟲、鏡像站)是站長常見痛點。雖然無法絕對防範,但通過驗證 HTTP_REFERER 可攔截大部分直接訪問、非授權域名引用及簡單爬蟲。

核心邏輯(ASP 示例)

<%
Dim onlyURL, from
onlyURL = "https://127.0.0.1/"  ' 允許的來源域名
from = Trim(Request.ServerVariables("HTTP_REFERER"))

If from = "" Then
    ' 來源為空:直接輸入網址或隱藏 Referer 的爬蟲
    Response.Write "<div style='display:none'><p>拒絕小偷!!!</p>"
    Response.Write "<p>來自: " & from & "</p>"
    Response.Write "<p>請訪問: <a href='" & onlyURL & "'>" & onlyURL & "</a></p>"
    Response.Write "<form name='blankForm' method='get' action=''></form>"
    Response.Write "<script language='JavaScript'>blankForm.submit()</script>"
    Response.End
Else
    If InStr(from, onlyURL) <> 1 Then
        ' 非授權域名:盜鏈、惡意引用
        Response.Write "<div style='display:none'><p>拒絕盜鏈!!!</p>"
        Response.Write "<p>來自: " & from & "</p>"
        Response.Write "<p>請訪問: <a href='" & onlyURL & "'>" & onlyURL & "</a></p>"
        Response.Write "<form name='blankForm' method='get' action=''></form>"
        Response.Write "<script language='JavaScript'>blankForm.submit()</script>"
        Response.End
    Else
        ' 來源正常,繼續執行後續頁面邏輯
    End If
End If
%>

關鍵點解析

  • Referer 為空:可能是用戶直接輸入 URL、書籤訪問、或爬蟲偽造/隱藏 Referer。代碼選擇直接阻擋並跳轉回首頁。
  • Referer 不匹配:InStr(from, onlyURL) <> 1 表示 Referer 不以授權域名開頭,判定為盜鏈/非法引用。
  • 跳轉技巧:輸出隱藏表單並用 JS 自動提交,實現無感跳轉,避免瀏覽器攔截 Response.Redirect。

局限性與增強建議

  1. Referer 可偽造:高級爬蟲可輕易偽造 Header,此法只能防君子。
  2. 誤傷正常用戶:部分安全軟件、企業代理會刪除 Referer,導致真實用戶被拦截。建議改為「記錄日誌+人工審核」或結合 User-Agent、IP 限流、驗證碼等多維防禦。
  3. 現代替代方案:
    • Nginx valid_referers 指令直接在反向代理層攔截。
    • 簽名 URL / Token 防盜鏈(圖片/下載鏈接)。
    • 前端渲染 + API 接口簽名驗證,提高采集門檻。

總結

Referer 驗證是輕量級的第一道防線,適合中小站點快速部署。但務必清楚其邊界,切勿作為唯一安全手段。建議配合 WAF、速率限制、內容加密等手段構建纵深防禦體系。

copyright © 萬盛學電腦網 all rights reserved