萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python multiprocessing 多進程並發實戰:從單進程到進程池的完整遷移指南

受限於 GIL(全域解譯器鎖),CPython 單進程只能佔用一顆 CPU 核心。multiprocessing 模組以進程級並行繞過 GIL,API 設計極似 threading,讓並發遷移極為平滑。本文由淺入深示範三種常用模式。

模式一:單一進程啟動

import multiprocessing, time

def worker(msg):
    for i in range(3):
        print(msg)
        time.sleep(1)

if __name__ == "__main__":
    p = multiprocessing.Process(target=worker, args=("hello",))
    p.start()
    p.join()
    print("Sub-process done.")

⚠️ 必須置於 if __name__ == "__main__": 保護區塊,否則 Windows 會無限遞迴生成進程。

模式二:進程池 非阻塞並發

if __name__ == "__main__":
    pool = multiprocessing.Pool(processes=4)  # 最多 4 進程並發
    for i in range(10):
        pool.apply_async(worker, (f"hello {i}",))
    pool.close()
    pool.join()
    print("Sub-process(es) done.")
  • apply_async:非阻塞提交,立即返回 AsyncResult
  • pool.close():拒絕新任務
  • pool.join():等待所有任務完成

模式三:進程池 + 結果收集

def worker(msg):
    for i in range(3):
        print(msg)
        time.sleep(1)
    return "done " + msg

if __name__ == "__main__":
    pool = multiprocessing.Pool(processes=4)
    results = []
    for i in range(10):
        results.append(pool.apply_async(worker, (f"hello {i}",)))
    pool.close()
    pool.join()
    for res in results:
        print(res.get())  # 取得返回值,若進程拋出異常會在此重拋
    print("Sub-process(es) done.")

進階技巧與坑點

Python 3.2+ 新增 concurrent.futures.ProcessPoolExecutor

from concurrent.futures import ProcessPoolExecutor
with ProcessPoolExecutor(max_workers=4) as executor:
    futures = [executor.submit(worker, f"hello {i}") for i in range(10)]
    for f in futures:
        print(f.result())

更現代的 Future 介面,支援 as_completed、map、超時控制等高階功能。

copyright © 萬盛學電腦網 all rights reserved
場景解決方案
需共享狀態multiprocessing.Manager 提供 dict/list/Value/Array 代理物件
大量資料傳遞使用 multiprocessing.Queue 或共享記憶體 Array/RawArray
Windows 無 fork確保進入點在 if __name__ == "__main__":,避免重複 import 執行
異常傳遞AsyncResult.get() 會重拋子進程異常,配合 traceback 診斷
進程數調優CPU 密集型設為核心數;I/O 密集型可設 2-4 倍核心數