萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python 裝飾器進階實戰:多層爬蟲資料快取與斷點續傳

裝飾器是 Python 進階開發的核心技能,常見於 Web 框架路由(@app.route)、權限驗證、效能分析等場景。本文透過一個「三層網頁爬取、需快取避免重複請求」的實戰案例,展示如何設計帶參數的裝飾器實現「引數級快取」,大幅降低網路開銷並支援斷點續傳。

業務場景與痛點

  • 三層結構:頂層頁面 → 子頁面列表 → 底層資料頁
  • 目標站點不穩定:頻繁連線失敗、超時
  • 兩種策略:
    1. 失敗即停,修復後從斷點重跑(URL 順序若變則失效)
    2. 失敗續跑 + 快取已取得資料(本文採用)

解決方案:引數感知的檔案快取裝飾器

核心邏輯:以函式名 + 呼叫引數(序列化後 MD5)為 Key,將回傳值序列化存檔。再次呼叫時若快取存在直接讀取,否則執行原函式並寫入快取。

完整實作碼

import os
import hashlib

def deco_args_recent_cache(category='dumps'):
    '''帶參數裝飾器:category 用於隔離不同業務的快取目錄'''
    def deco_recent_cache(func):
        def func_wrapper(*args, **kargs):
            sig = _mk_cache_sig(*args, **kargs)
            data = _get_recent_cache(category, func.__name__, sig)
            if data is not None:
                return data  # 命中快取,直接返回

            data = func(*args, **kargs)  # 未命中,執行原函式
            if data is not None:
                _set_recent_cache(category, func.__name__, sig, data)
            return data
        return func_wrapper
    return deco_recent_cache

def _mk_cache_sig(*args, **kargs):
    '''引數序列化 → MD5,作為唯一快取鍵'''
    src_data = repr(args) + repr(kargs)
    return hashlib.md5(src_data.encode()).hexdigest()

def _get_recent_cache(category, func_name, sig):
    path = f'{category}/{func_name}/{sig}'
    if os.path.isfile(path):
        with open(path, 'r') as f:
            return eval(f.read())  # 簡單場景用 eval,生產建議 json/pickle
    return None

def _set_recent_cache(category, func_name, sig, data):
    dir_path = f'{category}/{func_name}'
    os.makedirs(dir_path, exist_ok=True)
    path = f'{dir_path}/{sig}'
    with open(path, 'w') as f:
        f.write(repr(data))

套用到三層爬蟲

@deco_args_recent_cache()
def func_top(url):
    data_dict = {}
    sub_urls = fetch_sub_urls(url)           # 取得子頁面 URL 列表
    data_list = [func_sub(u) for u in sub_urls]
    data_dict['data'] = data_list
    return data_dict

@deco_args_recent_cache()
def func_sub(url):
    data_dict = {}
    bottom_urls = fetch_bottom_urls(url)
    data_list = [func_bottom(u) for u in bottom_urls]
    data_dict['data'] = data_list
    return data_dict

@deco_args_recent_cache()
def func_bottom(url):
    return fetch_data(url)  # 真正的網路請求

關鍵優勢

  1. 層層快取,指數級減少請求:某子頁快取命中時,其所有底層頁完全不會被觸發。
  2. 引數級隔離:同一函式不同 URL 互不干擾。
  3. 零侵入業務邏輯:只需加一行裝飾器,原函式保持純粹。
  4. 天然支援斷點續傳:重啟腳本自動讀取歷史快取。

生產環境增強建議

  • 將 eval/repr 替換為 json 或 pickle,支援更複雜資料結構並提升安全性。
  • 加入快取過期機制(如檔案 mtime + TTL)。
  • 快取目錄採用 tempfile.gettempdir() 或配置化路徑。
  • 高併發場景下加檔案鎖(fcntl/portalocker)防止寫衝突。

這個模式不僅適用於爬蟲,任何「純函式、輸入決定輸出、執行成本高」的場景(如 API 呼叫、複雜計算、資料庫查詢)都能直接套用,是 Python 開發者工具箱裡的利器。

copyright © 萬盛學電腦網 all rights reserved