針對大量 URL 需同時抓取、或需透過 Proxy 繞過 IP 限制的情境,PHP 的 curl_multi 系列函式可實作非同步多執行緒請求。本文提供可直接套用的封裝函式 async_get_url(),支援 Proxy 開關、超時、User-Agent、重導向等常見設定。
<?php
define('IS_PROXY', true); // 是否啟用 Proxy
function async_get_url($url_array, $wait_usec = 0) {
if (!is_array($url_array)) return false;
$wait_usec = intval($wait_usec);
$data = [];
$handle = [];
$running = 0;
$mh = curl_multi_init(); // 初始化多執行緒控制代碼
$i = 0;
foreach ($url_array as $url) {
$ch = curl_init();
if (IS_PROXY) {
// 代理伺服器範例:香港節點速度較佳
curl_setopt($ch, CURLOPT_PROXY, '110.4.12.170:80');
}
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // 回傳字串而非直接輸出
curl_setopt($ch, CURLOPT_TIMEOUT, 30); // 連線超時秒數
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 支援 302 重導向
curl_setopt($ch, CURLOPT_MAXREDIRS, 7); // 最大重導向次數
curl_multi_add_handle($mh, $ch);
$handle[$i++] = $ch;
}
// 執行多執行緒
do {
$mrc = curl_multi_exec($mh, $running);
if ($wait_usec > 0) usleep($wait_usec); // 每輪間隔微秒數
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($running && $mrc == CURLM_OK) {
if (curl_multi_select($mh) != -1) {
do {
$mrc = curl_multi_exec($mh, $running);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
// 讀取結果
foreach ($handle as $i => $ch) {
$content = curl_multi_getcontent($ch);
$data[$i] = (curl_errno($ch) == 0) ? $content : false;
}
// 清理資源
foreach ($handle as $ch) {
curl_multi_remove_handle($mh, $ch);
}
curl_multi_close($mh);
return $data;
}
// 使用範例
$urls = ['https://map.baidu.com'];
$re = async_get_url($urls);
echo $re[0];
| 參數 | 說明 |
|---|---|
| $url_array | 目標 URL 陣列 |
| $wait_usec | 每輪 curl_multi_exec 間隔微秒(可降低 CPU 佔用) |
| 回傳值 | 索引陣列,成功回傳內容字串,失敗為 false |
CURLOPT_PROXY 改為從資料庫/陣列隨機抽取,避免單一 IP 被封鎖。curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); 或指定 CA 憑證路徑。curl_errno() 碼區分連線逾時、DNS 失敗、HTTP 4xx/5xx 等錯誤並記錄日誌。善用 curl_multi 可大幅縮短批量抓取總耗時,搭配 Proxy 池與錯誤重試機制,即可構建穩健的爬蟲基礎設施。