萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Tornado 協程異步實現原理:從 Generator 到 Future 的演進

前言

Tornado 4.0+ 全面擁抱協程,讓異步程式碼寫起來像同步一樣直觀。本文從 Python Generator 基礎出發,層層剖析 Tornado 如何將 yield 轉化為非阻塞調度,助你從「會用」進階到「懂原理」。

基石:Python Generator 回顧

狀態暫存與恢復

def gen():
    yield 1
    yield 2

g = gen()        # 回傳 generator 物件,程式碼未執行
next(g)          # → 1,執行至第一個 yield 暫停
next(g)          # → 2,執行至第二個 yield 暫停
next(g)          # → StopIteration,結束

雙向通訊:send() 傳值入內

def echo():
    val = yield "ready"
    yield val * 2

g = echo()
next(g)          # → "ready"
g.send(21)       # → 42,val=21,繼續執行至下一個 yield

關鍵點:首次必須 next() 啟動,之後 send() 同時傳值並恢復執行。

迷你協程調度器:兩個無限迴圈的協作

def producer():
    a, b = 0, 1
    while True:
        task = yield sum, [a, b]   # 產生任務,等待結果
        a, b = b, task             # 接收結果,準備下一輪
        print("Producer got:", task)

def consumer():
    while True:
        func, args = yield         # 接收任務
        yield func(*args)          # 執行並產出結果

p, c = producer(), consumer()
next(p); next(c)                   # 啟動兩個 generator
task = p.send(None)                # 取得第一個任務
for _ in range(10):
    c.send(task)                   # consumer 執行任務
    task = c.send(None)            # 取得結果
    task = p.send(task)            # 回傳給 producer

這正是「協程調度」的雛形:產生任務 → 交給事件迴圈執行 → 完成後送回結果 → 繼續執行。

Tornado 如何做到的?

使用者視角

class ActionHandler(web.RequestHandler):
    @gen.coroutine
    def get(self):
        response = yield httpclient.AsyncHTTPClient().fetch("https://example.com")
        self.write(response.body)

內部流程解析

  1. @gen.coroutine 裝飾器將方法包裝為 Runner,首次 next() 啟動。
  2. 方法執行至 yield Future,產出 Future 物件給 Runner。
  3. Runner 註冊 Future 的回調,釋放控制權回 IOLoop,不阻塞執行緒。
  4. 網路請求完成,IOLoop 觸發回調,Future.set_result(response)。
  5. Runner 收到結果,呼叫 gen.send(response) 讓方法繼續執行。
  6. 後續程式碼同步風格執行,實則全程非阻塞。

關鍵抽象:Future 與 IOLoop

  • Future:代表「尚未完成的計算」,統一了回調地獄的入口。
  • IOLoop:單執行緒事件迴圈,監聽 IO 事件、定時器、Future 完成信號,驅動協程前進。

總結

Tornado 協程 = Generator 狀態機 + Future 非阻塞原語 + IOLoop 調度器。它將回調地獄轉化為線性代碼,同時保持高並發非阻塞特性。深入閱讀 tornado.gen、tornado.ioloop 原始碼,能更透徹掌握異步編程精髓。

copyright © 萬盛學電腦網 all rights reserved