萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python 生成器實現協程併發:yield 驅動的生產者-消費者與 stackless 微執行緒

協程是用戶態輕量級執行緒,Python 透過 yield 實現生成器協程,配合事件迴圈可達高併發。本文展示生成器協程基本模型、stackless 微執行緒庫實現併發下載,並對比四大併發模式。

四大併發模式對比

模式核心切換適用
多進程multiprocessing核心態CPU 密集、繞過 GIL
多執行緒threading核心態 (LWP)I/O 密集、共享記憶體
異步 I/Oselect/poll/epoll + asyncio用戶態事件迴圈高併發網路、單執行緒
協程yield/greenlet/gevent用戶態協作式極高併發、邏輯簡單

生成器協程:生產者-消費者


import time, sys

def produce(l):
    i = 0
    while i < 5:
        l.append(i)
        yield i
        i += 1
        time.sleep(1)
    return

def consume(l):
    p = produce(l)
    while True:
        try:
            p.next()  # 驅動生產者產出一個值
            while l:
                print(l.pop())
        except StopIteration:
            sys.exit(0)

consume([])

流程:consume 呼叫 p.next() → 進入 produce 執行到 yield → 返回值 → consume 繼續處理列表 → 再次 next() … 直到 StopIteration。

stackless 微執行緒:併發下載


import stackless, urllib2

def output():
    while True:
        url = chan.receive()
        print(url)
        f = urllib2.urlopen(url)
        print(stackless.getcurrent())

def input():
    for line in open('url.txt'):
        chan.send(line.strip())

chan = stackless.channel()
[stackless.tasklet(output)() for _ in range(10)]  # 10 個 worker
stackless.tasklet(input)()
stackless.run()  # 啟動調度器
  • channel:同步通訊管道,send/receive 自動調度。
  • tasklet:微執行緒單位,極低記憶體開銷(~1KB)。
  • run():啟動調度器,無任務時返回。

生態系庫

  • greenlet:stackless 核心剝離版,gevent/eventlet 基礎。
  • gevent:猴子補丁自動將標準庫阻塞調用變非阻塞,極易遷移既有同步代碼。
  • eventlet:類似 gevent,API 風格略異。
  • asyncio (Py3.4+):標準庫原生協程,async/await 語法,現代首選。

選擇建議

  • 新專案:asyncio + aiohttp/httpx,標準化、生態豐富。
  • 舊同步代碼快速併發化:gevent.monkey.patch_all()。
  • 極致效能、C 擴充整合:stackless/greenlet 底層控制。

從 yield 到 async/await,Python 協程經歷了從生成器協程到原生協程的演進,理解其本質——「用戶態協作式多任務」,能在適當場景選擇最優併發模型。

copyright © 萬盛學電腦網 all rights reserved