萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 模擬瀏覽器/搜尋引擎爬蟲:完整 HTTP 協議實作與反反爬策略

核心原理

模擬瀏覽器請求 = **建立 Socket 連線** + **發送標準 HTTP Request Header** + **解析 Response**。重點在 Header 細節決定能否通過反爬蟲檢查。

完整實作:GetPage() 函式

function GetPage($url) {
    $parsed = parse_url($url);
    if ($parsed['scheme'] !== 'http') {
        // 本地檔案 fallback
        return file_exists($url) ? file_get_contents($url) : false;
    }
    
    $host = $parsed['host'];
    $path = $parsed['path'] . ($parsed['query'] ? '?' . $parsed['query'] : '');
    $port = $parsed['port'] ?? 80;
    
    // 關鍵:完整模擬 Firefox Header
    $header = "GET $path HTTP/1.1\r\n";
    $header .= "Host: $host\r\n";
    $header .= "Connection: close\r\n";
    $header .= "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\n";
    $header .= "Accept-Language: zh-CN,zh;q=0.9,en;q=0.8\r\n";
    $header .= "Accept-Charset: utf-8,gb2312;q=0.7,*;q=0.7\r\n";
    $header .= "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36\r\n";
    $header .= "Referer: https://$host/\r\n";
    $header .= "\r\n"; // 空行結束 Header
    
    $fp = @fsockopen($host, $port, $errno, $errstr, 30);
    if (!$fp) return false;
    
    fwrite($fp, $header);
    $response = '';
    while (!feof($fp)) {
        $response .= fgets($fp, 4096);
    }
    fclose($fp);
    
    // 簡易分離 Header/Body
    list($header, $body) = explode("\r\n\r\n", $response, 2);
    return $body;
}

關鍵 Header 欄位解析

Header作用反爬檢查點
User-Agent客戶端身份最基本檢查,必須像真瀏覽器
Accept可接受內容型態缺失或異常會被判定為機器人
Accept-Language語言偏好地區限制內容需匹配
Referer來源頁面防盜鏈、CSRF 防護
Cookie會話狀態登入態、追蹤 ID
X-Forwarded-For代理鏈偽造 IP 來源

進階:使用 cURL (生產環境推薦)

function GetPageCurl($url) {
    $ch = curl_init();
    curl_setopt_array($ch, [
        CURLOPT_URL            => $url,
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_FOLLOWLOCATION => true,  // 自動追蹤 301/302
        CURLOPT_MAXREDIRS      => 5,
        CURLOPT_TIMEOUT        => 30,
        CURLOPT_CONNECTTIMEOUT => 10,
        CURLOPT_USERAGENT      => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
        CURLOPT_HTTPHEADER     => [
            'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
            'Accept-Language: zh-CN,zh;q=0.9',
        ],
        CURLOPT_COOKIEJAR      => 'cookies.txt', // 持久化 Cookie
        CURLOPT_COOKIEFILE     => 'cookies.txt',
        CURLOPT_SSL_VERIFYPEER => false, // 僅測試用,生產必須驗證
        CURLOPT_ENCODING       => 'gzip,deflate', // 自動解壓
    ]);
    $content = curl_exec($ch);
    $info = curl_getinfo($ch);
    curl_close($ch);
    
    if ($info['http_code'] !== 200) return false;
    return $content;
}

反反爬策略 (合法合規前提下)

  1. IP 輪換:代理池、住宅 IP
  2. 請求頻率控制:隨機延遲 sleep(rand(1,3))
  3. Session 保持:Cookie Jar 處理登入態
  4. JavaScript 渲染:Puppeteer/Playwright/Selenium (Headless Chrome)
  5. 指紋偽裝:Canvas、WebGL、Font、AudioContext 指紋一致性

法律與道德邊界

  • 遵守 robots.txt
  • 不繞過驗證碼、登入、付費牆
  • 不造成服務拒絕 (DoS)
  • 資料使用符合著作權法、個資法 (GDPR/PDPA)
  • 商業用途需取得授權

現代替代方案

  • Guzzle:PHP 現代 HTTP Client,支援中介軟體、非同步
  • Symfony HttpClient:內建重試、快取、範圍請求
  • Laravel HTTP Client:Fluent API、測試支援
copyright © 萬盛學電腦網 all rights reserved