yield 驅動的生產者-消費者與 stackless 微執行緒協程是用戶態輕量級執行緒,Python 透過 yield 實現生成器協程,配合事件迴圈可達高併發。本文展示生成器協程基本模型、stackless 微執行緒庫實現併發下載,並對比四大併發模式。
| 模式 | 核心 | 切換 | 適用 |
|---|---|---|---|
| 多進程 | multiprocessing | 核心態 | CPU 密集、繞過 GIL |
| 多執行緒 | threading | 核心態 (LWP) | I/O 密集、共享記憶體 |
| 異步 I/O | select/poll/epoll + asyncio | 用戶態事件迴圈 | 高併發網路、單執行緒 |
| 協程 | yield/greenlet/gevent | 用戶態協作式 | 極高併發、邏輯簡單 |
import time, sys
def produce(l):
i = 0
while i < 5:
l.append(i)
yield i
i += 1
time.sleep(1)
return
def consume(l):
p = produce(l)
while True:
try:
p.next() # 驅動生產者產出一個值
while l:
print(l.pop())
except StopIteration:
sys.exit(0)
consume([])
流程:consume 呼叫 p.next() → 進入 produce 執行到 yield → 返回值 → consume 繼續處理列表 → 再次 next() … 直到 StopIteration。
stackless 微執行緒:併發下載
import stackless, urllib2
def output():
while True:
url = chan.receive()
print(url)
f = urllib2.urlopen(url)
print(stackless.getcurrent())
def input():
for line in open('url.txt'):
chan.send(line.strip())
chan = stackless.channel()
[stackless.tasklet(output)() for _ in range(10)] # 10 個 worker
stackless.tasklet(input)()
stackless.run() # 啟動調度器
channel:同步通訊管道,send/receive 自動調度。tasklet:微執行緒單位,極低記憶體開銷(~1KB)。run():啟動調度器,無任務時返回。stackless 核心剝離版,gevent/eventlet 基礎。gevent,API 風格略異。async/await 語法,現代首選。asyncio + aiohttp/httpx,標準化、生態豐富。gevent.monkey.patch_all()。stackless/greenlet 底層控制。從 yield 到 async/await,Python 協程經歷了從生成器協程到原生協程的演進,理解其本質——「用戶態協作式多任務」,能在適當場景選擇最優併發模型。