萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP pcntl 多進程編程實戰:從 Fork 基礎到 Worker 池模式

前言

PHP 的 pcntl 擴展提供了類 Unix 進程控制功能(fork、signal、wait),使 PHP 能夠編寫高性能的多進程守護進程、任務佇列消費者、並行數據處理腳本。注意:pcntl 僅在 CLI 模式下可用,不支援 Web 服務器環境 (Apache/Nginx + PHP-FPM)。

核心概念

  • pcntl_fork():複製當前進程,父進程返回子進程 PID (>0),子進程返回 0,失敗返回 -1
  • pcntl_waitpid():父進程等待特定子進程結束,回收資源,避免殭屍進程
  • pcntl_signal():註冊信號處理器 (SIGTERM, SIGCHLD, SIGINT 等)
  • declare(ticks=1):舊版 PHP 需要聲明才能在非阻塞調用中捕獲信號 (PHP 7.1+ 建議用 pcntl_async_signals(true))

基礎模式:固定 Worker 數並行處理

<?php
declare(strict_types=1);

// 配置
const TOTAL_TASKS = 800_000; // 80 萬條數據
const WORKER_COUNT = 20;     // 20 個並行進程
const CHUNK_SIZE = TOTAL_TASKS / WORKER_COUNT; // 40,000 條/進程

$pids = [];
$startTime = microtime(true);

// 1. Fork 子進程
for ($i = 0; $i < WORKER_COUNT; $i++) {
    $pid = pcntl_fork();
    
    if ($pid === -1) {
        die("Fork 失敗 at worker {$i}\n");
    } elseif ($pid === 0) {
        // ========== 子進程邏輯 ==========
        $startId = $i * CHUNK_SIZE + 1;
        $endId = ($i === WORKER_COUNT - 1) ? TOTAL_TASKS : ($i + 1) * CHUNK_SIZE;
        
        // 實際業務處理
        processChunk($startId, $endId, $i);
        
        exit(0); // 子進程正常退出,避免繼續執行父進程代碼
        // =================================
    } else {
        // 父進程記錄 PID
        $pids[$pid] = $i;
        echo "啟動 Worker #{$i} (PID: {$pid}) 處理 ID {$startId}-{$endId}\n";
    }
}

// 2. 父進程等待所有子進程結束
$completed = 0;
while (!empty($pids)) {
    // 非阻塞等待任意子進程 (WNOHANG)
    $pid = pcntl_waitpid(-1, $status, WNOHANG);
    
    if ($pid > 0) {
        $workerId = $pids[$pid];
        unset($pids[$pid]);
        $completed++;
        $exitCode = pcntl_wifexited($status) ? pcntl_wexitstatus($status) : -1;
        echo "Worker #{$workerId} (PID: {$pid}) 結束,退出碼: {$exitCode}, 完成 {$completed}/" . WORKER_COUNT . "\n";
    } elseif ($pid === -1) {
        break; // 無子進程
    } else {
        // 還有子進程運行,短暫休眠避免佔用 CPU
        usleep(100_000); // 0.1s
    }
}

$totalTime = microtime(true) - $startTime;
echo "\n所有任務完成,總耗時: " . number_format($totalTime, 2) . " 秒\n";

// --- 子進程業務函數 ---
function processChunk(int $startId, int $endId, int $workerId): void {
    // 模擬數據庫查詢 + 處理
    // $pdo = new PDO(...); // 子進程內重新建立連接!
    // $stmt = $pdo->prepare("SELECT * FROM big_table WHERE id BETWEEN ? AND ?");
    // $stmt->execute([$startId, $endId]);
    
    $processed = 0;
    for ($id = $startId; $id <= $endId; $id++) {
        // 處理單條數據...
        // doWork($id);
        $processed++;
        
        // 進度日誌 (每 10000 條)
        if ($processed % 10000 === 0) {
            error_log("Worker {$workerId}: 已處理 {$processed} 條");
        }
    }
    error_log("Worker {$workerId}: 完成區間 {$startId}-{$endId},共 {$processed} 條");
}
?>

進階模式:動態 Worker 池 (Manager + Workers)

適用於任務量不固定、需動態伸縮、長期運行的守護進程。

<?php
declare(strict_types=1);

class WorkerPool {
    private int $maxWorkers;
    private int $activeWorkers = 0;
    private array $workers = []; // pid => [start_time, task_id]
    private bool $running = true;
    private array $taskQueue = []; // 待處理任務
    
    public function __construct(int $maxWorkers = 10) {
        $this->maxWorkers = $maxWorkers;
        // 信號處理
        pcntl_async_signals(true);
        pcntl_signal(SIGTERM, [$this, 'handleSignal']);
        pcntl_signal(SIGINT, [$this, 'handleSignal']);
        pcntl_signal(SIGCHLD, [$this, 'handleSignal']); // 子進程結束
    }
    
    public function addTask(mixed $taskData): void {
        $this->taskQueue[] = $taskData;
    }
    
    public function run(): void {
        echo "Manager 啟動 (PID: " . getmypid() . "), 最大 Worker: {$this->maxWorkers}\n";
        
        while ($this->running || $this->activeWorkers > 0 || !empty($this->taskQueue)) {
            // 1. 回收結束的子進程
            $this->reapChildren();
            
            // 2. 啟動新 Worker 處理任務
            while ($this->activeWorkers < $this->maxWorkers && !empty($this->taskQueue)) {
                $this->forkWorker(array_shift($this->taskQueue));
            }
            
            // 3. 無任務且無活動 Worker 時退出 (或繼續等待新任務)
            if (empty($this->taskQueue) && $this->activeWorkers === 0) {
                if (!$this->running) break; // 收到停止信號
                sleep(1); // 空閒等待
                continue;
            }
            
            // 短暫休眠避免忙等待
            usleep(50_000);
        }
        
        echo "Manager 正常退出\n";
    }
    
    private function forkWorker(mixed $taskData): void {
        $pid = pcntl_fork();
        if ($pid === -1) {
            error_log("Fork 失敗,任務重新入隊");
            array_unshift($this->taskQueue, $taskData);
            return;
        } elseif ($pid === 0) {
            // 子進程
            $this->executeTask($taskData);
            exit(0);
        } else {
            // 父進程記錄
            $this->workers[$pid] = ['start' => microtime(true), 'task' => $taskData];
            $this->activeWorkers++;
            echo "啟動 Worker PID:{$pid} 處理任務\n";
        }
    }
    
    private function executeTask(mixed $taskData): void {
        // 子進程內:重新建立 DB 連接、載入配置、設置信號處理
        // 實際業務邏輯...
        // 模擬耗時
        sleep(random_int(1, 5));
        echo "Worker " . getmypid() . " 完成任務\n";
    }
    
    private function reapChildren(): void {
        while (($pid = pcntl_waitpid(-1, $status, WNOHANG)) > 0) {
            if (isset($this->workers[$pid])) {
                $info = $this->workers[$pid];
                $duration = microtime(true) - $info['start'];
                unset($this->workers[$pid]);
                $this->activeWorkers--;
                $code = pcntl_wifexited($status) ? pcntl_wexitstatus($status) : -1;
                echo "回收 Worker PID:{$pid} 耗時:{$duration}s 退出碼:{$code}\n";
            }
        }
    }
    
    private function handleSignal(int $signo): void {
        switch ($signo) {
            case SIGTERM:
            case SIGINT:
                echo "收到停止信號 ({$signo}), 停止接收新任務,等待現有 Worker 完成...\n";
                $this->running = false;
                break;
            case SIGCHLD:
                // 子進程結束信號,由 reapChildren 在主循環處理
                break;
        }
    }
}

// 使用示例
$pool = new WorkerPool(5);
// 模擬添加 20 個任務
for ($i = 1; $i <= 20; $i++) {
    $pool->addTask(['id' => $i, 'data' => "task_{$i}"]);
}
// 模擬 10 秒後動態添加任務
// register_shutdown_function 或另一進程可調用 $pool->addTask(...)
$pool->run();
?>

關鍵最佳實踐

✅ 必須做

  • 子進程內重新建立資源:DB 連接、Redis 連接、文件句柄、cURL 句柄等**不可跨 fork 共享**,必須在子進程內 `new` 建立。
  • 設置信號處理器:優雅關閉 (SIGTERM)、回收子進程 (SIGCHLD)、忽略 SIGPIPE。
  • 使用 WNOHANG 非阻塞回收:避免父進程卡死在 waitpid。
  • 限制並發數:根據 CPU 核心、內存、DB 連接池大小設置合理 Worker 數。
  • 錯誤日誌輸出到文件/系統日誌:不要用 echo,使用 error_log() 或 Monolog。

⚠️ 禁止做

  • 在 Web 請求 (FPM) 中使用 pcntl_fork() —— 會導致主進程混亂、連接洩漏、502 錯誤
  • 父子進程共享 PDO/Redis 連接 —— 會導致「MySQL server has gone away」、協議錯亂
  • 忽略殭屍進程回收 —— 耗盡進程表,系統無法創建新進程
  • 在子進程中使用 exit() 以外的方式結束 (如 die() 也可,但 exit 更明確)

替代方案對比

方案優點缺點適用場景
pcntl_fork原生、無依賴、真並行、隔離性好僅 CLI、記憶體佔用大、Windows 不支援、程式設計複雜CLI 批量任務、守護進程、高併發計算
Swoole / OpenSwoole協程、高併發、內建 Server、Channel、Timer需安裝擴展、學習曲線、部分庫不兼容高性能網絡服務、WebSocket、微服務
ReactPHP / Amp純 PHP 異步、無擴展依賴、生態豐富單線程事件循環、CPU 密集型需配合進程I/O 密集型、異步 HTTP、異步 DB
Gearman / RabbitMQ + Worker分佈式、語言無關、持久化、監控豐富基礎設施複雜、延遲較高跨語言、大規模分佈式任務隊列
Laravel Queue / Symfony Messenger框架整合、多驅動、延遲、重試、失敗處理綁定框架、需隊列基礎設施框架專案標準化異步處理

總結

PHP pcntl 多進程是 CLI 批量處理的利器,核心模式為 Fork → 子進程獨立處理分片任務 → 父進程非阻塞回收。關鍵在於資源隔離(子進程重建連接)、信號處理(優雅關閉)、殭屍進程回收。對於長期運行的服務,推薦使用成熟的 Worker 池模式或遷移至 Swoole/框架隊列系統。掌握 pcntl 可深入理解 Unix 進程模型,為高性能 PHP 開發奠定基礎。

copyright © 萬盛學電腦網 all rights reserved