萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python 多進程變數共享陷阱:multiprocessing.Manager、Value/Array、鎖同步完整解析

Python multiprocessing 啟動子進程時,各進程擁有獨立記憶體空間,全域變數修改不會跨進程可見。本文以「列表共享失敗」為切入點,系統講解共享記憶體(Value/Array)、管理器代理(Manager)、鎖同步三大機制,並演示計數器競態條件與修正。

問題重現:全域列表不共享


from multiprocessing import Process
import os

vip_list = []

def testFunc(cc):
    vip_list.append(cc)
    print('pid:', os.getpid())

if __name__ == '__main__':
    procs = [Process(target=testFunc, args=(i,)) for i in range(10)]
    for p in procs: p.start()
    for p in procs: p.join()
    print(vip_list)  # [] 空!

原因:每個子進程 fork 後擁有獨立 vip_list 副本,修改各自副本,父進程原列表不變。

方案一:共享記憶體 Value/Array(C 型別,高效)


from multiprocessing import Process, Value, Array

def f(n, a):
    n.value = 3.1415927
    for i in range(len(a)):
        a[i] = -a[i]

if __name__ == '__main__':
    num = Value('d', 0.0)        # 'd' = double
    arr = Array('i', range(10))  # 'i' = signed int
    p = Process(target=f, args=(num, arr))
    p.start(); p.join()
    print(num.value)  # 3.1415927
    print(arr[:])     # [0, -1, -2, ..., -9]

支援型別代碼:'c'字元、'b'/'B'有號/無號字節、'h'/'H'短整數、'i'/'I'整數、'l'/'L'長整數、'f'/'d'浮點/雙精度。

方案二:Manager 代理物件(任意 Python 物件、跨進程)


from multiprocessing import Process, Manager

manager = Manager()
vip_list = manager.list()  # 可共享的列表代理

def testFunc(cc):
    vip_list.append(cc)

# ... 啟動進程 ...
print(vip_list)  # [0, 1, 2, ..., 9] 順序不定

Manager 背後啟動一個 Server 進程持有真實物件,其他進程持有 Proxy 透過 IPC(管道/Unix socket)操作。支援型別:list, dict, Namespace, Lock, RLock, Semaphore, Condition, Event, Queue, Value, Array。

進階陷阱:共享計數器的競態條件


from multiprocessing import Process, Manager

manager = Manager()
shared = manager.Value('i', 0)

def inc():
    for _ in range(10000):
        shared.value += 1  # 非原子:讀-改-寫

procs = [Process(target=inc) for _ in range(10)]
for p in procs: p.start()
for p in procs: p.join()
print(shared.value)  # 可能 < 100000,如 97342

修正:使用 Lock


lock = manager.Lock()
def inc():
    for _ in range(10000):
        with lock:
            shared.value += 1

選擇指南

需求推薦備註
簡單數值/陣列、高效能、單機Value/ArrayC 型別、原子操作需自行加鎖
任意 Python 物件、巢狀結構、跨網路ManagerIPC 開銷大、序列化成本高
計數器、佇列、鎖Manager 對應型別直接用 manager.Value('i',0) + Lock
大量數值陣列計算numpy + multiprocessing.shared_memory (Py3.8+)零拷貝、向量化

理解進程隔離與共享機制,是編寫正確、高效並發 Python 程式的關鍵。預設傾向「無共享、訊息傳遞」(Queue/Pipe),必要時再引入共享狀態並嚴格加鎖。

copyright © 萬盛學電腦網 all rights reserved