萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP cURL 多執行緒搭配 Proxy 抓取網頁資料實作

前言

針對大量 URL 需同時抓取、或需透過 Proxy 繞過 IP 限制的情境,PHP 的 curl_multi 系列函式可實作非同步多執行緒請求。本文提供可直接套用的封裝函式 async_get_url(),支援 Proxy 開關、超時、User-Agent、重導向等常見設定。

完整程式碼

<?php
define('IS_PROXY', true);  // 是否啟用 Proxy

function async_get_url($url_array, $wait_usec = 0) {
    if (!is_array($url_array)) return false;
    $wait_usec = intval($wait_usec);

    $data   = [];
    $handle = [];
    $running = 0;
    $mh = curl_multi_init();  // 初始化多執行緒控制代碼
    $i = 0;

    foreach ($url_array as $url) {
        $ch = curl_init();
        if (IS_PROXY) {
            // 代理伺服器範例:香港節點速度較佳
            curl_setopt($ch, CURLOPT_PROXY, '110.4.12.170:80');
        }
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);   // 回傳字串而非直接輸出
        curl_setopt($ch, CURLOPT_TIMEOUT, 30);         // 連線超時秒數
        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);   // 支援 302 重導向
        curl_setopt($ch, CURLOPT_MAXREDIRS, 7);        // 最大重導向次數
        curl_multi_add_handle($mh, $ch);
        $handle[$i++] = $ch;
    }

    // 執行多執行緒
    do {
        $mrc = curl_multi_exec($mh, $running);
        if ($wait_usec > 0) usleep($wait_usec);  // 每輪間隔微秒數
    } while ($mrc == CURLM_CALL_MULTI_PERFORM);

    while ($running && $mrc == CURLM_OK) {
        if (curl_multi_select($mh) != -1) {
            do {
                $mrc = curl_multi_exec($mh, $running);
            } while ($mrc == CURLM_CALL_MULTI_PERFORM);
        }
    }

    // 讀取結果
    foreach ($handle as $i => $ch) {
        $content = curl_multi_getcontent($ch);
        $data[$i] = (curl_errno($ch) == 0) ? $content : false;
    }

    // 清理資源
    foreach ($handle as $ch) {
        curl_multi_remove_handle($mh, $ch);
    }
    curl_multi_close($mh);
    return $data;
}

// 使用範例
$urls = ['https://map.baidu.com'];
$re = async_get_url($urls);
echo $re[0];

參數與回傳值說明

參數說明
$url_array目標 URL 陣列
$wait_usec每輪 curl_multi_exec 間隔微秒(可降低 CPU 佔用)
回傳值索引陣列,成功回傳內容字串,失敗為 false

常見調整建議

  • Proxy 池:將 CURLOPT_PROXY 改為從資料庫/陣列隨機抽取,避免單一 IP 被封鎖。
  • SSL 憑證:抓取 HTTPS 網站時需加 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); 或指定 CA 憑證路徑。
  • 錯誤處理:可依 curl_errno() 碼區分連線逾時、DNS 失敗、HTTP 4xx/5xx 等錯誤並記錄日誌。
  • 平行數限制:大量 URL 時建議分批處理(如每批 50 條),避免佔滿檔案描述符或觸發對方防火牆。

總結

善用 curl_multi 可大幅縮短批量抓取總耗時,搭配 Proxy 池與錯誤重試機制,即可構建穩健的爬蟲基礎設施。

copyright © 萬盛學電腦網 all rights reserved