Huey是純Python實現的輕量級任務隊列,依賴Redis(或自定義後端),API簡潔,支援多線程執行、定時/周期任務、重試、結果存儲。適合中小型項目替代Celery。本文涵蓋安裝、核心API、Worker啟動參數、生產部署建議。
pip install huey redis
# 或從源碼安裝最新版
git clone https://github.com/coleifer/huey.git
cd huey && python setup.py install
from huey import RedisHuey, crontab
huey = RedisHuey('my-app', host='redis.myapp.com', port=6379)
@huey.task()
def add_numbers(a, b):
return a + b
@huey.periodic_task(crontab(minute='0', hour='3')) # 每天凌晨3點
def nightly_backup():
sync_all_data()
@huey.task(retries=3, retry_delay=60)
def flaky_api_call(url):
return requests.get(url).json()
# 異步調用,立即返回Result對象
result = add_numbers(3, 5)
print(result.get(blocking=True, timeout=5)) # 同步等待結果
# 定時執行
add_numbers.schedule(args=(10, 20), delay=60) # 60秒後執行
huey_consumer.py my_app.huey \
-w 8 # 8個工作線程(IO密集型可調大) \
-l /var/log/huey.log \
-v # DEBUG級別日誌 \
-d 0.1 # 輪詢間隔0.1秒 \
-m 10 # 最大退避10秒 \
-b 1.15 # 退避因子 \
-u # 使用UTC時間 \
--threads 4 # 線程數(同-w)
關鍵參數:
-w/--workers:線程數,CPU密集型設為CPU核心數,IO密集型可設2-4倍。-p/--periodic(默認開啟):啟動周期任務調度線程。-n/--no-periodic:禁用周期任務(多Worker部署時僅一個啟用)。huey_consumer進程,配置自動重啟、日誌輪轉。SIGTERM,Worker完成當前任務後退出(Huey內建信號處理)。huey.result_store.cleanup()防Redis膨脹。Huey以極簡API提供核心異步能力,是Python項目引入任務隊列的優秀入門選擇。