萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 多進程 Job 隊列處理器:pcntl_fork 實作

PHP 多進程 Job 隊列處理器:基於 pcntl_fork 的 CLI 常駐守護進程

本範例展示一個生產級的 Job 處理架構:常駐主進程從資料庫輪詢待執行 Job,fork 子進程執行具體任務,父進程 pcntl_waitpid 等待子進程結束並根據退出碼更新 Job 狀態 (成功/失敗)。需在 CLI 模式下運行,並啟用 pcntl 擴充。

完整類別結構

<?php
class Controller_Jobs extends Controller_Base {

    // 僅允許 CLI 執行
    public function before() {
        parent::before();
        if (PHP_SAPI !== 'cli') {
            die("Only CLI allowed!\n");
        }
    }

    // 執行 Job 的核心命令組裝與啟動
    private function _execJobCommand(string $jobUri, array $params): void {
        $phpExec  = Kohana::config('picsou.php_exec'); // PHP 執行檔路徑
        $phpIndex = APPINDEX;                          // 入口檔 (index.php)

        $args = [$phpIndex, '--uri=' . $jobUri];
        foreach ($params as $k => $v) {
            $args[] = "--$k=$v";
        }

        echo "Exec command: $phpExec " . implode(' ', $args) . "\n";
        // 子進程內執行,不返回
        pcntl_exec($phpExec, $args);
        // 若 pcntl_exec 成功,此行不會執行
        exit(1); // 執行失敗時的兜底
    }

    // 主循環:輪詢、Fork、等待、更新狀態
    public function action_run(): void {
        $processedCount = 0;
        $maxJobsPerRun  = 10; // 單次運行最多處理 10 個 Job,防止長期佔用

        while (true) {
            // 1. 查詢待執行 Job (status=1 待執行, approved=1 已審核)
            $sql = "SELECT * FROM job_queue WHERE status='1' AND approved='1' ORDER BY id";
            $jobs = DB::query(Database::SELECT, $sql)->execute()->as_array();

            if ($jobs) {
                foreach ($jobs as $job) {
                    if (++$processedCount > $maxJobsPerRun) {
                        echo "已處理 $maxJobsPerRun 個 Job,本輪結束休息。\n";
                        return; // 結束本次運行,由外部 cron/supervisor 重啟
                    }

                    // 2. 更新狀態為「執行中」(2),防止重複撈取
                    DB::update('job_queue')
                        ->set(['status' => '2'])
                        ->where('id', '=', $job['id'])
                        ->execute();

                    // 3. Fork 子進程
                    $pid = pcntl_fork();

                    if ($pid === -1) {
                        die("Fork 失敗!\n");
                    } elseif ($pid === 0) {
                        // ========== 子進程 ==========
                        $this->_execJobCommand($job['job_uri'], json_decode($job['paras'], true));
                        echo "Child process finished\n";
                        exit(0); // 正常結束
                    } else {
                        // ========== 父進程 ==========
                        echo "等待 Job [$job[id]] (PID: $pid) 結束...\n";
                        ob_flush(); // 即時輸出

                        // 等待特定子進程結束,WUNTRACED 也捕捉停止信號
                        $childPid = pcntl_waitpid($pid, $status, WUNTRACED);
                        echo "waitpid 結束: PID=$childPid, Status=$status\n";

                        // 4. 根據退出狀態更新 Job 狀態
                        if ($status === 0) { // 正常退出
                            DB::update('job_queue')
                                ->set(['status' => '999']) // 成功
                                ->where('id', '=', $job['id'])
                                ->execute();
                            echo "Job [$job[id]] 成功完成\n";
                        } else { // 非零退出碼 = 失敗
                            DB::update('job_queue')
                                ->set(['status' => '-1']) // 失敗
                                ->where('id', '=', $job['id'])
                                ->execute();
                            echo "Job [$job[id]] 執行失敗 (exit code: $status)\n";
                        }
                        ob_flush();
                    }
                }
            } else {
                // 無 Job 可跑
                if ($processedCount > 0) {
                    echo "本輪無新 Job,已處理 $processedCount 個,結束。\n";
                    return;
                }
                echo "無待執行 Job,5 秒後重試...\n";
                ob_flush();
                sleep(5);
            }
        }
    }
}
?>

架構關鍵點解析

環節說明關鍵函數/邏輯
進程模型Master-Worker:單主進程輪詢 + 多子進程並行執行pcntl_fork()、pcntl_waitpid()
狀態機1=待執行 → 2=執行中 → 999=成功 / -1=失敗DB 更新原子操作,防重複消費
參數傳遞JSON 存儲於 job_queue.paras,子進程解碼後透過 CLI 參數傳遞--key=value 格式
子進程啟動pcntl_exec 替換當前進程映像,輕量、無殘留記憶體需指定 PHP 執行檔與入口檔
資源控制單次運行上限 maxJobsPerRun,避免長期佔用配合外部 Cron/Supervisor 定期拉起

部署與運維建議

  1. Supervisor 管理:將 php index.php --uri=jobs/run 設為 Supervisor 程式,autostart=true, autorestart=true, numprocs=1。
  2. 日誌導向:stdout_logfile=/var/log/jobs/worker.log,錯誤同導向。
  3. 優雅關閉:捕捉 SIGTERM 信號,完成當前 Job 後退出:
    pcntl_signal(SIGTERM, fn() => $shutdown = true); 在循環檢查 $shutdown。
  4. 監控告警:監控 job_queue 積壓數量、失敗率、執行耗時。
  5. 資料庫連線:子進程 pcntl_exec 會重新啟動 PHP,自動建立新 DB 連線;父進程長連需注意 mysqli_reconnect 或 PDO ATTR_PERSISTENT。

現代替代方案 (推薦)

  • Laravel Horizon / Queue Worker:Redis + Supervisor,開箱即用,支援延遲、重試、速率限制、儀表板。
  • Symfony Messenger + Messenger Transport:支援多種 Broker (Redis, RabbitMQ, Kafka, Doctrine DBAL)。
  • RoadRunner / Swoole:常駐記憶體應用伺服器,內建 Worker 池、非阻塞 I/O、Task 異步任務。
  • Gearman / Beanstalkd:經典分散式 Job 伺服器。
💡 核心建議:除非受限於虛擬主機無法安裝擴充/服務,新專案強烈建議直接使用成熟 Queue 框架,而非手寫 pcntl_fork。框架已解決訊號處理、記憶體管理、重試策略、監控介接等大量坑點。
copyright © 萬盛學電腦網 all rights reserved