串列下載多個遠端檔案時,總耗時 = Σ(單檔下載時間)。使用 curl_multi 並發處理,總耗時 ≈ max(單檔下載時間),效能提升數倍至數十倍。
<?php
/**
* 並發下載多個遠端檔案
*
* @param array $urls URL 陣列
* @param string $prefix 檔名前綴
* @param string $saveDir 儲存目錄
* @return array|false 成功回傳儲存路徑陣列,失敗回傳 false
*/
function download_multiple(array $urls, string $prefix = '', string $saveDir = './downloads/') {
// 參數驗證
if (empty($urls)) return false;
// 建立儲存目錄
if (!is_dir($saveDir)) {
if (!mkdir($saveDir, 0755, true)) {
throw new RuntimeException("無法建立目錄: {$saveDir}");
}
}
$handles = [];
$mh = curl_multi_init();
$validUrls = [];
// 初始化各 cURL handle
foreach ($urls as $index => $url) {
$url = trim($url);
if (empty($url) || !preg_match('~^https?://~i', $url)) continue;
// URL 編碼處理空格等特殊字元
$url = str_replace(' ', '%20', $url);
$validUrls[$index] = $url;
$ch = curl_init($url);
curl_setopt_array($ch, [
CURLOPT_IPRESOLVE => CURL_IPRESOLVE_V4,
CURLOPT_RETURNTRANSFER => 1,
CURLOPT_HEADER => 0,
CURLOPT_CONNECTTIMEOUT => 20,
CURLOPT_TIMEOUT => 60,
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_MAXREDIRS => 5,
CURLOPT_SSL_VERIFYPEER => false, // 僅測試環境,生產請驗證
CURLOPT_USERAGENT => 'Mozilla/5.0 (compatible; PHP Multi-Downloader)',
]);
$handles[$index] = $ch;
curl_multi_add_handle($mh, $ch);
}
if (empty($handles)) return false;
// 執行並發請求
$active = null;
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc === CURLM_CALL_MULTI_PERFORM);
while ($active && $mrc === CURLM_OK) {
// 等待活動,避免 CPU 空轉
if (curl_multi_select($mh) !== -1) {
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc === CURLM_CALL_MULTI_PERFORM);
}
}
// 收集結果
$results = [];
foreach ($handles as $index => $ch) {
$error = curl_error($ch);
$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
if ($error === '' && $httpCode === 200) {
$content = curl_multi_getcontent($ch);
// 產生檔名
$ext = pathinfo($validUrls[$index], PATHINFO_EXTENSION);
$ext = $ext ?: 'bin'; // 無副檔名預設
$filename = $index === 0
? "{$prefix}.{$ext}"
: "{$prefix}_{$index}.{$ext}";
$filename = strtolower($filename);
$filepath = $saveDir . $filename;
if (file_put_contents($filepath, $content) !== false) {
$results[$index] = $filepath;
}
} else {
error_log("下載失敗 [{$index}]: {$validUrls[$index]} - HTTP {$httpCode} - {$error}");
}
curl_multi_remove_handle($mh, $ch);
curl_close($ch);
}
curl_multi_close($mh);
return $results ?: false;
}
// 使用範例
$urls = [
'https://example.com/image1.jpg',
'https://example.com/document.pdf',
'https://example.com/data.json',
];
$results = download_multiple($urls, 'batch_download', './images/');
print_r($results);
?>
| 函數/選項 | 作用 | 關鍵說明 |
|---|---|---|
| curl_multi_init() | 建立多執行緒控制代碼 | 管理多個 curl handle 的容器 |
| curl_multi_add_handle() | 加入單一請求 | 可動態增減 handle |
| curl_multi_exec() | 執行並發處理 | 需在迴圈中重複呼叫直到完成 |
| curl_multi_select() | 等待 I/O 事件 | 關鍵:避免 CPU 100% 空轉,傳回 -1 表無活動 |
| curl_multi_getcontent() | 取得回應內容 | 僅在請求完成後可用 |
| CURL_IPRESOLVE_V4 | 強制 IPv4 | 避免 IPv6 連線問題 |
一次性開啟大量連線可能觸發對方防火牆或耗盡本地檔案描述符。建議實作「併發池」:
<?php
function download_with_concurrency_limit(array $urls, int $maxConcurrent = 10, string $saveDir = './downloads/') {
$results = [];
$queue = new SplQueue();
foreach ($urls as $url) $queue->enqueue($url);
$mh = curl_multi_init();
$activeHandles = [];
while (!$queue->isEmpty() || !empty($activeHandles)) {
// 补充并发槽位
while (count($activeHandles) < $maxConcurrent && !$queue->isEmpty()) {
$url = $queue->dequeue();
$ch = curl_init($url);
curl_setopt_array($ch, [
CURLOPT_RETURNTRANSFER => 1,
CURLOPT_TIMEOUT => 30,
CURLOPT_FOLLOWLOCATION => true,
]);
$key = (string)$ch; // 使用 handle 作為 key
$activeHandles[$key] = ['ch' => $ch, 'url' => $url];
curl_multi_add_handle($mh, $ch);
}
// 執行並發
$active = null;
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc === CURLM_CALL_MULTI_PERFORM);
// 處理完成的請求
while ($done = curl_multi_info_read($mh)) {
$ch = $done['handle'];
$key = (string)$ch;
$info = $activeHandles[$key] ?? null;
if ($info && $done['result'] === CURLE_OK) {
$content = curl_multi_getcontent($ch);
// 儲存邏輯...
$results[$info['url']] = 'success';
} else {
$results[$info['url'] ?? 'unknown'] = 'failed: ' . curl_error($ch);
}
curl_multi_remove_handle($mh, $ch);
curl_close($ch);
unset($activeHandles[$key]);
}
// 等待下一輪 I/O
if ($active) curl_multi_select($mh, 0.1);
}
curl_multi_close($mh);
return $results;
}
?>
usleep(10000) 避免忙等待CURLOPT_WRITEFUNCTION 直接寫入檔案,避免 CURLOPT_RETURNTRANSFER 佔用記憶體CURLOPT_SSL_VERIFYPEER => true 並設定 CURLOPT_CAINFOcurl_multi_info_read() 回傳的 result 欄位,而非只看 curl_error()curl_multi 是 PHP 實現高效並發 HTTP 請求的核心工具。掌握其事件循環機制、正確使用 curl_multi_select 避免 CPU 空轉、實作併發數限制與錯誤重試,即可構建穩健的批量下載/爬蟲/微服務聚合系統。