萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python 分布式進程實戰:跨機器任務佇列

為何選擇分布式進程

multiprocessing 模組的 managers 子模組支援將進程間通訊的 Queue 透過網路暴露,讓多台機器上的進程共享任務佇列與結果佇列。相比多線程,進程更穩定(避免 GIL)、可跨機器擴展,適合 CPU 密集型任務分發。

架構設計

  • 服務進程(Task Manager):建立 Queue、註冊到網路、分發任務、收集結果。
  • 工作進程(Task Worker):連線至服務進程、取得任務、執行運算、回傳結果。

服務端程式碼 (taskmanager.py)

import random, time, queue
from multiprocessing.managers import BaseManager

task_queue = queue.Queue()
result_queue = queue.Queue()

class QueueManager(BaseManager):
    pass

# 將 Queue 註冊為網路可呼叫的方法
QueueManager.register('get_task_queue', callable=lambda: task_queue)
QueueManager.register('get_result_queue', callable=lambda: result_queue)

# 綁定埠 5000,驗證碼 'abc'
manager = QueueManager(address=('', 5000), authkey=b'abc')
manager.start()

# 取得網路代理物件
task = manager.get_task_queue()
result = manager.get_result_queue()

# 分發 10 個隨機任務
for i in range(10):
    n = random.randint(0, 10000)
    print('Put task %d...' % n)
    task.put(n)

# 收集結果
print('Try get results...')
for i in range(10):
    r = result.get(timeout=10)
    print('Result: %s' % r)

manager.shutdown()

工作端程式碼 (taskworker.py)

import time, sys, queue
from multiprocessing.managers import BaseManager

class QueueManager(BaseManager):
    pass

# 僅註冊名稱,從網路獲取 Queue
QueueManager.register('get_task_queue')
QueueManager.register('get_result_queue')

server_addr = '127.0.0.1'
print('Connect to server %s...' % server_addr)
m = QueueManager(address=(server_addr, 5000), authkey=b'abc')
m.connect()

task = m.get_task_queue()
result = m.get_result_queue()

for i in range(10):
    try:
        n = task.get(timeout=1)
        print('run task %d * %d...' % (n, n))
        r = '%d * %d = %d' % (n, n, n*n)
        time.sleep(1)
        result.put(r)
    except queue.Empty:
        print('task queue is empty.')

print('worker exit.')

執行流程與驗證

  1. 先啟動 python taskmanager.py,服務進程開始監聽並分發任務。
  2. 在另一台機器(或同機)啟動 python taskworker.py,工作進程連線處理任務。
  3. 服務端依序印出運算結果,驗證分布式運作正常。

關鍵注意事項

  • 序列化:Queue 傳遞的物件必須可序列化(pickle)。
  • 防火牆:確保 5000 埠可跨機器通訊。
  • 驗證碼一致:authkey 雙方必須完全相同。
  • 生產環境建議:使用 multiprocessing.managers.SyncManager 或成熟框架(Celery、RQ)替代手動實現。
copyright © 萬盛學電腦網 all rights reserved