萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP cURL 多線程並發下載:curl_multi 完整實戰指南

為什麼需要並發下載?

串列下載多個遠端檔案時,總耗時 = Σ(單檔下載時間)。使用 curl_multi 並發處理,總耗時 ≈ max(單檔下載時間),效能提升數倍至數十倍。

完整並發下載函數實現

<?php
/**
 * 並發下載多個遠端檔案
 * 
 * @param array  $urls  URL 陣列
 * @param string $prefix 檔名前綴
 * @param string $saveDir 儲存目錄
 * @return array|false 成功回傳儲存路徑陣列,失敗回傳 false
 */
function download_multiple(array $urls, string $prefix = '', string $saveDir = './downloads/') {
    // 參數驗證
    if (empty($urls)) return false;
    
    // 建立儲存目錄
    if (!is_dir($saveDir)) {
        if (!mkdir($saveDir, 0755, true)) {
            throw new RuntimeException("無法建立目錄: {$saveDir}");
        }
    }
    
    $handles = [];
    $mh = curl_multi_init();
    $validUrls = [];
    
    // 初始化各 cURL handle
    foreach ($urls as $index => $url) {
        $url = trim($url);
        if (empty($url) || !preg_match('~^https?://~i', $url)) continue;
        
        // URL 編碼處理空格等特殊字元
        $url = str_replace(' ', '%20', $url);
        $validUrls[$index] = $url;
        
        $ch = curl_init($url);
        curl_setopt_array($ch, [
            CURLOPT_IPRESOLVE => CURL_IPRESOLVE_V4,
            CURLOPT_RETURNTRANSFER => 1,
            CURLOPT_HEADER => 0,
            CURLOPT_CONNECTTIMEOUT => 20,
            CURLOPT_TIMEOUT => 60,
            CURLOPT_FOLLOWLOCATION => true,
            CURLOPT_MAXREDIRS => 5,
            CURLOPT_SSL_VERIFYPEER => false, // 僅測試環境,生產請驗證
            CURLOPT_USERAGENT => 'Mozilla/5.0 (compatible; PHP Multi-Downloader)',
        ]);
        
        $handles[$index] = $ch;
        curl_multi_add_handle($mh, $ch);
    }
    
    if (empty($handles)) return false;
    
    // 執行並發請求
    $active = null;
    do {
        $mrc = curl_multi_exec($mh, $active);
    } while ($mrc === CURLM_CALL_MULTI_PERFORM);
    
    while ($active && $mrc === CURLM_OK) {
        // 等待活動,避免 CPU 空轉
        if (curl_multi_select($mh) !== -1) {
            do {
                $mrc = curl_multi_exec($mh, $active);
            } while ($mrc === CURLM_CALL_MULTI_PERFORM);
        }
    }
    
    // 收集結果
    $results = [];
    foreach ($handles as $index => $ch) {
        $error = curl_error($ch);
        $httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
        
        if ($error === '' && $httpCode === 200) {
            $content = curl_multi_getcontent($ch);
            
            // 產生檔名
            $ext = pathinfo($validUrls[$index], PATHINFO_EXTENSION);
            $ext = $ext ?: 'bin'; // 無副檔名預設
            $filename = $index === 0 
                ? "{$prefix}.{$ext}" 
                : "{$prefix}_{$index}.{$ext}";
            $filename = strtolower($filename);
            
            $filepath = $saveDir . $filename;
            
            if (file_put_contents($filepath, $content) !== false) {
                $results[$index] = $filepath;
            }
        } else {
            error_log("下載失敗 [{$index}]: {$validUrls[$index]} - HTTP {$httpCode} - {$error}");
        }
        
        curl_multi_remove_handle($mh, $ch);
        curl_close($ch);
    }
    
    curl_multi_close($mh);
    return $results ?: false;
}

// 使用範例
$urls = [
    'https://example.com/image1.jpg',
    'https://example.com/document.pdf',
    'https://example.com/data.json',
];

$results = download_multiple($urls, 'batch_download', './images/');
print_r($results);
?>

關鍵技術點解析

函數/選項作用關鍵說明
curl_multi_init()建立多執行緒控制代碼管理多個 curl handle 的容器
curl_multi_add_handle()加入單一請求可動態增減 handle
curl_multi_exec()執行並發處理需在迴圈中重複呼叫直到完成
curl_multi_select()等待 I/O 事件關鍵:避免 CPU 100% 空轉,傳回 -1 表無活動
curl_multi_getcontent()取得回應內容僅在請求完成後可用
CURL_IPRESOLVE_V4強制 IPv4避免 IPv6 連線問題

進階優化:分批並發控制

一次性開啟大量連線可能觸發對方防火牆或耗盡本地檔案描述符。建議實作「併發池」:

<?php
function download_with_concurrency_limit(array $urls, int $maxConcurrent = 10, string $saveDir = './downloads/') {
    $results = [];
    $queue = new SplQueue();
    foreach ($urls as $url) $queue->enqueue($url);
    
    $mh = curl_multi_init();
    $activeHandles = [];
    
    while (!$queue->isEmpty() || !empty($activeHandles)) {
        // 补充并发槽位
        while (count($activeHandles) < $maxConcurrent && !$queue->isEmpty()) {
            $url = $queue->dequeue();
            $ch = curl_init($url);
            curl_setopt_array($ch, [
                CURLOPT_RETURNTRANSFER => 1,
                CURLOPT_TIMEOUT => 30,
                CURLOPT_FOLLOWLOCATION => true,
            ]);
            $key = (string)$ch; // 使用 handle 作為 key
            $activeHandles[$key] = ['ch' => $ch, 'url' => $url];
            curl_multi_add_handle($mh, $ch);
        }
        
        // 執行並發
        $active = null;
        do {
            $mrc = curl_multi_exec($mh, $active);
        } while ($mrc === CURLM_CALL_MULTI_PERFORM);
        
        // 處理完成的請求
        while ($done = curl_multi_info_read($mh)) {
            $ch = $done['handle'];
            $key = (string)$ch;
            $info = $activeHandles[$key] ?? null;
            
            if ($info && $done['result'] === CURLE_OK) {
                $content = curl_multi_getcontent($ch);
                // 儲存邏輯...
                $results[$info['url']] = 'success';
            } else {
                $results[$info['url'] ?? 'unknown'] = 'failed: ' . curl_error($ch);
            }
            
            curl_multi_remove_handle($mh, $ch);
            curl_close($ch);
            unset($activeHandles[$key]);
        }
        
        // 等待下一輪 I/O
        if ($active) curl_multi_select($mh, 0.1);
    }
    
    curl_multi_close($mh);
    return $results;
}
?>

常見坑點與避雷指南

  • curl_multi_select 回傳 -1:Windows 下常見,需搭配 usleep(10000) 避免忙等待
  • 記憶體洩漏:大檔案下載請改用 CURLOPT_WRITEFUNCTION 直接寫入檔案,避免 CURLOPT_RETURNTRANSFER 佔用記憶體
  • SSL 驗證:生產環境務必啟用 CURLOPT_SSL_VERIFYPEER => true 並設定 CURLOPT_CAINFO
  • 錯誤處理:必須檢查 curl_multi_info_read() 回傳的 result 欄位,而非只看 curl_error()

總結

curl_multi 是 PHP 實現高效並發 HTTP 請求的核心工具。掌握其事件循環機制、正確使用 curl_multi_select 避免 CPU 空轉、實作併發數限制與錯誤重試,即可構建穩健的批量下載/爬蟲/微服務聚合系統。

copyright © 萬盛學電腦網 all rights reserved