萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 單執行緒實現並行抓取網頁:I/O 多路復用實戰

為什麼需要並行抓取?

串行抓取 10 個頁面,每個 500ms,總耗時 5 秒。並行抓取僅需最慢的那一個 (約 500ms) + 少量開銷。**PHP 單執行緒也能並行**,關鍵在於 非阻塞 I/O + I/O 多路復用 (stream_select)。

核心原理

  1. 對每個 URL 建立非阻塞 TCP 連線 (stream_socket_client) 並發送 HTTP 請求。
  2. 將所有 socket 放入 stream_select() 監聽讀取就緒事件。
  3. 當某 socket 可讀時,fread() 讀取資料,累積到對應緩衝區。
  4. 所有 socket 讀取完畢 (EOF) 或超時,結束循環。

完整可用代碼

<?php
/**
 * 並行 HTTP GET
 * @param string[] $urls 目標 URL 陣列
 * @param float $timeout 總超時秒數
 * @return array url => responseBody (含 header+body) 或 false
 */
function httpMultiGet(array $urls, float $timeout = 30.0): array {
    $results = [];
    $sockets = [];

    // 1. 建立所有非阻塞連線並發送請求
    foreach ($urls as $key => $url) {
        $parts = parse_url($url);
        $host = $parts['host'] ?? '';
        $path = ($parts['path'] ?? '/') . ($parts['query'] ? '?' . $parts['query'] : '');
        $port = $parts['port'] ?? 80;

        $flags = STREAM_CLIENT_CONNECT | STREAM_CLIENT_ASYNC_CONNECT;
        $socket = @stream_socket_client("tcp://$host:$port", $errno, $errstr, 5, $flags);
        if (!$socket) {
            $results[$key] = false;
            continue;
        }
        // 設為非阻塞
        stream_set_blocking($socket, false);
        // 發送 HTTP/1.0 請求 (簡化,無需處理 Chunked)
        fwrite($socket, "GET $path HTTP/1.0\r\nHost: $host\r\nConnection: close\r\n\r\n");
        $sockets[$key] = $socket;
        $results[$key] = '';
    }

    $startTime = microtime(true);
    $read = $write = $except = null;

    // 2. 事件循環
    while (!empty($sockets)) {
        // 檢查總超時
        if (microtime(true) - $startTime > $timeout) {
            foreach ($sockets as $k => $s) { fclose($s); $results[$k] = false; }
            break;
        }

        $read = $sockets;
        $n = @stream_select($read, $write, $except, 0, 200000); // 0.2 秒
        if ($n === false) { /* select error */ break; }
        if ($n === 0) continue; // timeout, continue loop

        // 3. 處理可讀 sockets
        foreach ($read as $socket) {
            $key = array_search($socket, $sockets, true);
            if ($key === false) continue;

            $chunk = @fread($socket, 8192);
            if ($chunk === '' || $chunk === false) { // EOF 或錯誤
                fclose($socket);
                unset($sockets[$key]);
            } else {
                $results[$key] .= $chunk;
            }
        }
    }

    // 4. 分離 Header/Body
    foreach ($results as $key => &$resp) {
        if ($resp !== false) {
            [$header, $body] = explode("\r\n\r\n", $resp, 2) + ['', ''];
            $resp = $body;
        }
    }
    return $results;
}

// ===== 使用範例 =====
$urls = [
    'https://www.qq.com',
    'https://www.sina.com.cn',
    'https://www.sohu.com',
    'https://www.163.com',
];

echo "並行抓取開始...\n";
$t1 = microtime(true);
$results = httpMultiGet($urls, 10.0);
echo "並行耗時: " . (microtime(true) - $t1) . " 秒\n";

echo "\n串行抓取對比...\n";
$t2 = microtime(true);
foreach ($urls as $u) @file_get_contents($u);
echo "串行耗時: " . (microtime(true) - $t2) . " 秒\n";

print_r(array_map(fn($v) => $v ? strlen($v) : 'failed', $results));

效能實測 (4 個網站)

並行耗時: 1.23 秒
串行耗時: 4.87 秒
加速比: ~4x

進階優化方向

  • HTTP/1.1 Keep-Alive + Pipelining:複用連線,減少握手開銷。
  • HTTPS 支援:stream_socket_client("ssl://$host:443", ...) 需處理 TLS 握手非阻塞 (較複雜,建議用 cURL multi)。
  • cURL Multi 介面:curl_multi_* 族函數是生產級並行 HTTP 客戶端的標準實作,支援 HTTPS、重導向、Cookie、壓縮等完整特性。
  • Swoole/OpenSwoole/Workerman:協程化並行,代碼同步寫法、底層異步 I/O,效能極致。

何時使用此方案?

  • 環境**無 cURL 擴展**、無法安裝擴展的受限環境。
  • 教學理解 I/O 多路復用原理。
  • 極簡依賴的輕量腳本 (單檔案、無 Composer)。

生產環境強烈建議直接使用 Guzzle + curl_multi 或 Swoole 協程。

copyright © 萬盛學電腦網 all rights reserved