multiprocessing.Manager、Value/Array、鎖同步完整解析Python multiprocessing 啟動子進程時,各進程擁有獨立記憶體空間,全域變數修改不會跨進程可見。本文以「列表共享失敗」為切入點,系統講解共享記憶體(Value/Array)、管理器代理(Manager)、鎖同步三大機制,並演示計數器競態條件與修正。
from multiprocessing import Process
import os
vip_list = []
def testFunc(cc):
vip_list.append(cc)
print('pid:', os.getpid())
if __name__ == '__main__':
procs = [Process(target=testFunc, args=(i,)) for i in range(10)]
for p in procs: p.start()
for p in procs: p.join()
print(vip_list) # [] 空!
原因:每個子進程 fork 後擁有獨立 vip_list 副本,修改各自副本,父進程原列表不變。
Value/Array(C 型別,高效)
from multiprocessing import Process, Value, Array
def f(n, a):
n.value = 3.1415927
for i in range(len(a)):
a[i] = -a[i]
if __name__ == '__main__':
num = Value('d', 0.0) # 'd' = double
arr = Array('i', range(10)) # 'i' = signed int
p = Process(target=f, args=(num, arr))
p.start(); p.join()
print(num.value) # 3.1415927
print(arr[:]) # [0, -1, -2, ..., -9]
支援型別代碼:'c'字元、'b'/'B'有號/無號字節、'h'/'H'短整數、'i'/'I'整數、'l'/'L'長整數、'f'/'d'浮點/雙精度。
from multiprocessing import Process, Manager
manager = Manager()
vip_list = manager.list() # 可共享的列表代理
def testFunc(cc):
vip_list.append(cc)
# ... 啟動進程 ...
print(vip_list) # [0, 1, 2, ..., 9] 順序不定
Manager 背後啟動一個 Server 進程持有真實物件,其他進程持有 Proxy 透過 IPC(管道/Unix socket)操作。支援型別:list, dict, Namespace, Lock, RLock, Semaphore, Condition, Event, Queue, Value, Array。
from multiprocessing import Process, Manager
manager = Manager()
shared = manager.Value('i', 0)
def inc():
for _ in range(10000):
shared.value += 1 # 非原子:讀-改-寫
procs = [Process(target=inc) for _ in range(10)]
for p in procs: p.start()
for p in procs: p.join()
print(shared.value) # 可能 < 100000,如 97342
Lock
lock = manager.Lock()
def inc():
for _ in range(10000):
with lock:
shared.value += 1
| 需求 | 推薦 | 備註 |
|---|---|---|
| 簡單數值/陣列、高效能、單機 | Value/Array | C 型別、原子操作需自行加鎖 |
| 任意 Python 物件、巢狀結構、跨網路 | Manager | IPC 開銷大、序列化成本高 |
| 計數器、佇列、鎖 | Manager 對應型別 | 直接用 manager.Value('i',0) + Lock |
| 大量數值陣列計算 | numpy + multiprocessing.shared_memory (Py3.8+) | 零拷貝、向量化 |
理解進程隔離與共享機制,是編寫正確、高效並發 Python 程式的關鍵。預設傾向「無共享、訊息傳遞」(Queue/Pipe),必要時再引入共享狀態並嚴格加鎖。