萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP cURL 多執行緒並發抓取網頁完整實作(curl_multi)

為什麼需要 curl_multi?

PHP 單執行緒阻塞 I/O,串列抓取多個 URL 耗時 = Σ(單次耗時)。curl_multi 實現事件驅動非阻塞並發,總耗時 ≈ max(單次耗時),效能提升數倍。

模式一:直接寫入檔案(記憶體省)

$urls = [
    'https://www.sina.com.cn/',
    'https://www.sohu.com/',
    'https://www.163.com/'
];
$save_to = '/tmp/test.txt';
$fp = fopen($save_to, 'a');

$mh = curl_multi_init();
foreach ($urls as $i => $url) {
    $conn[$i] = curl_init($url);
    curl_setopt_array($conn[$i], [
        CURLOPT_USERAGENT => 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
        CURLOPT_HEADER    => 0,
        CURLOPT_CONNECTTIMEOUT => 60,
        CURLOPT_FILE      => $fp,          // 直接寫入檔案控制代碼
    ]);
    curl_multi_add_handle($mh, $conn[$i]);
}

$active = null;
do {
    $mrc = curl_multi_exec($mh, $active);
} while ($mrc === CURLM_CALL_MULTI_PERFORM || $active);

foreach ($urls as $i => $url) {
    curl_multi_remove_handle($mh, $conn[$i]);
    curl_close($conn[$i]);
}
curl_multi_close($mh);
fclose($fp);

模式二:先存變數再處理(彈性大)

$mh = curl_multi_init();
foreach ($urls as $i => $url) {
    $conn[$i] = curl_init($url);
    curl_setopt_array($conn[$i], [
        CURLOPT_USERAGENT => 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
        CURLOPT_HEADER    => 0,
        CURLOPT_CONNECTTIMEOUT => 60,
        CURLOPT_RETURNTRANSFER => true,   // 回傳字串而非直接輸出
    ]);
    curl_multi_add_handle($mh, $conn[$i]);
}

$active = null;
do {
    curl_multi_exec($mh, $active);
} while ($active);

$fp = fopen($save_to, 'a');
foreach ($urls as $i => $url) {
    $data = curl_multi_getcontent($conn[$i]); // 取得回應內容
    fwrite($fp, $data);                        // 寫入檔案/存資料庫/解析
    curl_multi_remove_handle($mh, $conn[$i]);
    curl_close($conn[$i]);
}
curl_multi_close($mh);
fclose($fp);

進階優化技巧

  • 並發數控制:大量 URL 時分批處理(如每批 50-100),避免耗盡檔案描述符/記憶體。
  • 錯誤處理:curl_errno($conn[$i]) 檢查每個 handle 錯誤,記錄失敗 URL 重試。
  • 超時策略:設定 CURLOPT_TIMEOUT(總超時)與 CURLOPT_CONNECTTIMEOUT(連線超時)。
  • 使用者代理輪換:隨機 User-Agent 降低被封風險。
  • 非同步替代方案:Swoole、ReactPHP、Amp 提供更高階的非同步 HTTP Client。

完整錯誤處理範例

do {
    $mrc = curl_multi_exec($mh, $active);
    if ($mrc > 0) {
        // 處理 curl_multi 錯誤
        error_log("curl_multi_exec error: " . curl_multi_strerror($mrc));
    }
    // 可在這裡用 curl_multi_select($mh, 0.1) 休眠降低 CPU 佔用
    curl_multi_select($mh, 0.1);
} while ($active);
copyright © 萬盛學電腦網 all rights reserved