萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python gevent 協程框架入門:猴子補丁、綠色執行緒與自動 IO 切換實戰

gevent 透過 greenlet 實現輕量級協程,在 IO 阻塞時自動切換執行緒,以單執行緒達到高併發。本文從猴子補丁原理、gevent.spawn 建立協程、gevent.sleep 主動讓出、自動 IO 切換實戰,到生產部署整合完整解析。

核心概念:Greenlet 與協程

  • Greenlet:用戶態輕量執行緒,切換開銷極低(微秒級)
  • 協程:協作式多任務,主動/被動讓出控制權
  • 猴子補丁:啟動時替換標準庫阻塞 IO 為非阻塞版本

猴子補丁與基礎範例

from gevent import monkey
monkey.patch_socket()  # 或 monkey.patch_all() 替換所有標準庫

import gevent

def f(n):
    for i in range(n):
        print(gevent.getcurrent(), i)

g1 = gevent.spawn(f, 5)
g2 = gevent.spawn(f, 5)
g3 = gevent.spawn(f, 5)
g1.join()
g2.join()
g3.join()

未加 sleep:順序執行(無 IO 觸發切換)

<Greenlet at 0x10e49f550: f(5)> 0
<Greenlet at 0x10e49f550: f(5)> 1
...
<Greenlet at 0x10e49f910: f(5)> 0
...

加入 gevent.sleep(0) 主動讓出:交替執行

def f(n):
    for i in range(n):
        print(gevent.getcurrent(), i)
        gevent.sleep(0)  # 關鍵:主動交出控制權

# 輸出:三個 greenlet 交替印出 0,1,2,3,4

真實 IO 自動切換:並發 HTTP 請求

from gevent import monkey
monkey.patch_all()  # 必須在 import urllib2 之前

import gevent
import urllib2

def f(url):
    print('GET:', url)
    resp = urllib2.urlopen(url)
    data = resp.read()
    print('%d bytes received from %s.' % (len(data), url))

gevent.joinall([
    gevent.spawn(f, 'https://www.python.org/'),
    gevent.spawn(f, 'https://www.yahoo.com/'),
    gevent.spawn(f, 'https://github.com/'),
])

執行結果:並發發起、完成順序不定、單執行緒

GET: https://www.python.org/
GET: https://www.yahoo.com/
GET: https://github.com/
45661 bytes received from https://www.python.org/.
14823 bytes received from https://github.com/.
304034 bytes received from https://www.yahoo.com/.

gevent 部署優勢:零代碼修改提升效能

最神奇特性:應用代碼完全無需引入 gevent,僅在部署時換用支援 gevent 的 WSGI 伺服器:

# Gunicorn + gevent
$ gunicorn -k gevent -w 4 myapp:app

# uWSGI + gevent
$ uwsgi --gevent 100 --http :8000 --wsgi-file myapp.py

同步阻塞代碼瞬間獲得協程級併發能力。

平台限制與注意事項

  • Windows 支援有限:官方不保證正常安裝/運行,建議 Linux/macOS 或 WSL/Docker
  • 猴子補丁時機:必須在所有 import 之前執行
  • 不支援的庫:部分 C 擴充庫(如某些資料庫驅動)無法被補丁,需確認相容性
  • CPU 密集任務:gevent 不適用,需搭配 multiprocessing 或線程池

總結

gevent 以最小侵入性為 Python 帶來高併發能力。核心價值在於:既有同步代碼零修改,部署層切換即獲得效能提升。適合 IO 密集型 Web 服務、爬蟲、API 聚合等場景。

copyright © 萬盛學電腦網 all rights reserved