multiprocessing 模組的 managers 子模組支援將進程間通訊的 Queue 透過網路暴露,讓多台機器上的進程共享任務佇列與結果佇列。相比多線程,進程更穩定(避免 GIL)、可跨機器擴展,適合 CPU 密集型任務分發。
import random, time, queue
from multiprocessing.managers import BaseManager
task_queue = queue.Queue()
result_queue = queue.Queue()
class QueueManager(BaseManager):
pass
# 將 Queue 註冊為網路可呼叫的方法
QueueManager.register('get_task_queue', callable=lambda: task_queue)
QueueManager.register('get_result_queue', callable=lambda: result_queue)
# 綁定埠 5000,驗證碼 'abc'
manager = QueueManager(address=('', 5000), authkey=b'abc')
manager.start()
# 取得網路代理物件
task = manager.get_task_queue()
result = manager.get_result_queue()
# 分發 10 個隨機任務
for i in range(10):
n = random.randint(0, 10000)
print('Put task %d...' % n)
task.put(n)
# 收集結果
print('Try get results...')
for i in range(10):
r = result.get(timeout=10)
print('Result: %s' % r)
manager.shutdown()
import time, sys, queue
from multiprocessing.managers import BaseManager
class QueueManager(BaseManager):
pass
# 僅註冊名稱,從網路獲取 Queue
QueueManager.register('get_task_queue')
QueueManager.register('get_result_queue')
server_addr = '127.0.0.1'
print('Connect to server %s...' % server_addr)
m = QueueManager(address=(server_addr, 5000), authkey=b'abc')
m.connect()
task = m.get_task_queue()
result = m.get_result_queue()
for i in range(10):
try:
n = task.get(timeout=1)
print('run task %d * %d...' % (n, n))
r = '%d * %d = %d' % (n, n, n*n)
time.sleep(1)
result.put(r)
except queue.Empty:
print('task queue is empty.')
print('worker exit.')
python taskmanager.py,服務進程開始監聽並分發任務。python taskworker.py,工作進程連線處理任務。authkey 雙方必須完全相同。multiprocessing.managers.SyncManager 或成熟框架(Celery、RQ)替代手動實現。