萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP curl_multi 並發請求完全指南:從入門到避坑(含 CPU 100% 修復)

curl_multi 系列函數讓 PHP 能**並發**發起多個 HTTP 請求,大幅降低聚合多個 API、爬蟲、微服務調用的總耗時。但官方文檔極其簡略,網上流傳的「簡單示例」存在 **CPU 100% 死循環** 缺陷。本文提供生產級並發請求模板,並揭示版本兼容性陷阱。

一、核心流程六步法

  1. curl_multi_init():創建多句柄
  2. 循環 curl_init() 創建子句柄 → 設置選項 → curl_multi_add_handle() 加入多句柄
  3. 持續調用 curl_multi_exec() 驅動並發執行
  4. 根據需要循環 curl_multi_getcontent() 獲取結果
  5. curl_multi_remove_handle() 移除子句柄 → curl_close() 關閉子句柄
  6. curl_multi_close() 關閉多句柄

二、官方示例的致命缺陷:CPU 100% 死循環

// ❌ 錯誤示例(網上廣泛流傳)
do {
    $mrc = curl_multi_exec($mh, $active);
} while ($active); // 無數據時疯狂佔用 CPU

當無數據可讀/寫時,curl_multi_exec 立即返回,導致空循環佔滿 CPU 核心。

三、正確事件驅動寫法:curl_multi_select() 讓出 CPU

<?php
function multiRequest(array $urls, array $options = [], int $maxConcurrent = 10): array {
    $mh = curl_multi_init();
    $handles = [];
    $results = [];
    
    // 1. 初始化子句柄
    foreach ($urls as $i => $url) {
        $ch = curl_init($url);
        curl_setopt_array($ch, array_merge([
            CURLOPT_RETURNTRANSFER => 1,
            CURLOPT_TIMEOUT        => 30,
            CURLOPT_CONNECTTIMEOUT => 10,
            CURLOPT_SSL_VERIFYPEER => 1,
            CURLOPT_FOLLOWLOCATION => 1,
            CURLOPT_MAXREDIRS      => 5,
        ], $options));
        curl_multi_add_handle($mh, $ch);
        $handles[$i] = $ch;
    }
    
    $active = null;
    // 2. 事件驅動主循環
    do {
        // 2.1 執行所有有數據的句柄
        do {
            $mrc = curl_multi_exec($mh, $active);
        } while ($mrc === CURLM_CALL_MULTI_PERFORM);
        
        // 2.2 無活動句柄時,select 等待 I/O 事件(關鍵:釋放 CPU)
        if ($active) {
            // curl_multi_select 返回 -1 表示無文件描述符(極少見),需 usleep 避免忙等
            $select = curl_multi_select($mh);
            if ($select === -1) {
                usleep(100); // 100μs 短暫休眠
            }
            // select > 0 或 =0 表示有事件,循環繼續執行 curl_multi_exec
        }
    } while ($active);
    
    // 3. 收集結果
    foreach ($handles as $i => $ch) {
        $errno = curl_errno($ch);
        $error = curl_error($ch);
        $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
        
        $results[$i] = [
            'url'       => $urls[$i],
            'success'   => $errno === 0,
            'http_code' => $httpCode,
            'error'     => $error ?: null,
            'body'      => $errno === 0 ? curl_multi_getcontent($ch) : null,
            'info'      => curl_getinfo($ch),
        ];
        
        curl_multi_remove_handle($mh, $ch);
        curl_close($ch);
    }
    
    curl_multi_close($mh);
    return $results;
}

// 使用範例
$urls = [
    'https://httpbin.org/delay/1',
    'https://httpbin.org/delay/2',
    'https://httpbin.org/get',
    'https://api.github.com/users/octocat',
];
$results = multiRequest($urls);
print_r($results);
?>

四、關鍵細節與避坑指南

1. 控制併發數(防止文件描述符耗盡/對方限流)

上例一次性加入所有句柄。大量 URL 時應實現**併發池**:維護一個等待隊列,僅保持 $maxConcurrent 個活躍句柄,完成一個添加一個。

2. 超時控制:區分連接超時與總超時

curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 5);  // TCP 握手 + SSL 握手
curl_setopt($ch, CURLOPT_TIMEOUT, 30);        // 整個請求總時間

3. 錯誤檢測順序

// 必須先檢查 curl_errno,再獲取內容
if (curl_errno($ch)) {
    $error = curl_error($ch);
} else {
    $body = curl_multi_getcontent($ch);
}

4. 重用連接:保持 Keep-Alive

同域名多請求自動復用 TCP 連接(需 libcurl 7.30.0+),無需額外配置。

5. 版本兼容性大坑 ⚠️

「PHP 的 multi_curl 功能慎用,因為某些版本的 curl 和 PHP 搭配有 Bug。所以你調試過沒問題的代碼很可能在別的機器上不正確。」

  • PHP 5.2.x + libcurl 7.16.x:CURLOPT_USERAGENT 某些值導致發送二進制垃圾 Header
  • PHP 5.3.x + libcurl 7.19.x:curl_multi_select 返回值異常導致死循環
  • PHP 7.0+ + libcurl 7.47+:相對穩定,但仍建議**生產環境鎖定版本**(Docker 基礎鏡像)

6. 替代方案:Guzzle / Swoole / Amp

方案特點學習成本
Guzzle (PHP)Promise 異步、中間件、重試、測試雙工,生態成熟低
Swoole / OpenSwoole協程並發、常駐內存、極高性能、需擴展中
Amp / ReactPHP純 PHP 事件循環、無擴展依賴、生態豐富中
原生 curl_multi零依賴、底層控制、適合簡單腳本/受限環境高(易踩坑)

五、完整生產級封裝類(併發池 + 重試 + 超時)

<?php
class ConcurrentCurl {
    private int $maxConcurrent;
    private int $defaultTimeout;
    private array $defaultOptions;
    
    public function __construct(int $maxConcurrent = 10, int $defaultTimeout = 30) {
        $this->maxConcurrent = $maxConcurrent;
        $this->defaultTimeout = $defaultTimeout;
        $this->defaultOptions = [
            CURLOPT_RETURNTRANSFER => 1,
            CURLOPT_CONNECTTIMEOUT => 5,
            CURLOPT_TIMEOUT        => $defaultTimeout,
            CURLOPT_SSL_VERIFYPEER => 1,
            CURLOPT_FOLLOWLOCATION => 1,
            CURLOPT_MAXREDIRS      => 3,
            CURLOPT_USERAGENT      => 'ConcurrentCurl/1.0',
        ];
    }
    
    public function request(array $urls, array $extraOptions = []): Generator {
        $mh = curl_multi_init();
        $queue = array_values($urls); // 待發送隊列
        $activeHandles = [];          // 正在執行:url_idx => ch
        $completed = 0;
        $total = count($queue);
        
        while ($completed < $total) {
            // 填充併發槽位
            while (count($activeHandles) < $this->maxConcurrent && $queue) {
                $idx = array_key_first($queue);
                $url = $queue[$idx];
                unset($queue[$idx]);
                
                $ch = curl_init($url);
                curl_setopt_array($ch, array_merge($this->defaultOptions, $extraOptions));
                curl_multi_add_handle($mh, $ch);
                $activeHandles[$idx] = $ch;
            }
            
            // 事件驅動
            do {
                $mrc = curl_multi_exec($mh, $active);
            } while ($mrc === CURLM_CALL_MULTI_PERFORM);
            
            if ($active) {
                $select = curl_multi_select($mh);
                if ($select === -1) usleep(100);
            }
            
            // 檢查完成的句柄
            while ($info = curl_multi_info_read($mh)) {
                $ch = $info['handle'];
                $idx = array_search($ch, $activeHandles, true);
                if ($idx === false) continue;
                
                $errno = curl_errno($ch);
                $result = [
                    'url'       => $urls[$idx],
                    'success'   => $errno === 0,
                    'http_code' => curl_getinfo($ch, CURLINFO_HTTP_CODE),
                    'error'     => $errno ? curl_error($ch) : null,
                    'body'      => $errno === 0 ? curl_multi_getcontent($ch) : null,
                    'info'      => curl_getinfo($ch),
                ];
                
                curl_multi_remove_handle($mh, $ch);
                curl_close($ch);
                unset($activeHandles[$idx]);
                $completed++;
                
                yield $result; // 生成器逐個產出結果
            }
        }
        
        curl_multi_close($mh);
    }
}

// 使用
$curl = new ConcurrentCurl(5, 20);
foreach ($curl->request($urls) as $result) {
    echo "{$result['url']}: HTTP {$result['http_code']} " . ($result['success'] ? 'OK' : "FAIL: {$result['error']}") . "\n";
}
?>

總結

  1. 掌握 curl_multi_exec + curl_multi_select 事件驅動模型,**杜絕 CPU 100% 死循環**
  2. 理解 CURLM_CALL_MULTI_PERFORM 狀態含義:仍有內部工作可立即執行
  3. 生產環境**強烈建議**使用 Guzzle/Swoole 等成熟庫,避免版本兼容性坑
  4. 若必須用原生 curl_multi,請鎖定 PHP+libcurl 版本(Docker),並完善錯誤處理、超時、併發控制、日誌記錄

並發請求是提升 PHP I/O 密集型任務吞吐的核心手段,理解其底層機制讓你在選型與排障時游刃有餘。

copyright © 萬盛學電腦網 all rights reserved