萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python logging 模組誤用導致記憶體洩漏:8 萬 UDP 連線的血淚教訓

現場還原:syslog UDP 連線暴增至 8 萬

線上專案使用 logging 透過 SysLogHandler 寫入 syslog。運行一段時間後,netstat 顯示 UDP 連線數突破 80,000,系統資源耗盡。根因在於 為每個連線動態建立 Logger,且命名使用 id(self),導致 Logger 永不被回收,攜帶的 Handler 與 UDP 連線同樣洩漏。

錯誤程式碼回顧

import logging

class Connection:
    def __init__(self):
        # 每個實例產生唯一 logger name
        self._logger_name = "Connection.{}".format(id(self))
        self.logger = logging.getLogger(self._logger_name)
        # 後續加入 SysLogHandler → 每個 logger 擁有獨立 UDP socket

根因深究:logging 內部機制

logging.getLogger(name) 內部維護 Logger.manager.loggerDict(全域字典),同名 Logger 僅建立一次,永久駐留。原始碼片段:

if name in self.loggerDict:
    rv = self.loggerDict[name]  # 直接回傳既有實例
else:
    rv = Logger(name)
    self.loggerDict[name] = rv  # 存入全域字典,永不刪除

因 id(self) 每次不同,每個連線產生唯一 Logger 名稱 → loggerDict 無限膨脹 → 每個 Logger 綁定一個 SysLogHandler → 每個 Handler 持有一個 UDP socket → 連線數爆炸。

修正方案:連線關閉時主動清理

def close(self):
    # 1. 從 manager 字典移除
    logging.Logger.manager.loggerDict.pop(self._logger_name, None)
    # 2. 斷開 manager 參考
    self.logger.manager = None
    # 3. 清空 handlers(關鍵:釋放 SysLogHandler 與 socket)
    self.logger.handlers = []

測試發現:僅執行第 1 行無法釋放 socket,必須加上第 3 行清空 handlers,UDP 連線才真正關閉(具體原因待進一步追蹤 CPython 來源)。

補充陷阱:Logger 名稱含點號會建立 PlaceHolder

2015-03-30 更新:若 Logger 名稱含 .(如 a.b.c),logging 會視為階層結構,自動建立父層 PlaceHolder 物件並持有子 Logger 引用,同樣導致洩漏。Logger 名稱請勿包含點號。

最佳實踐建議

  • 模組級 Logger:logger = logging.getLogger(__name__),全程復用,勿動態建立。
  • Contextual 資訊:改用 LoggerAdapter 或 filters 注入連線 ID、使用者 ID 等動態欄位,而非建立新 Logger。
  • Handler 共享:單一 SysLogHandler 供全域使用,避免重複建立 socket。
  • 定期審計:len(logging.Logger.manager.loggerDict) 監控 Logger 總數,異常增長即報警。

結語

Logging 是觀測系統的眼睛,用錯卻會刺瞎系統。記住:Logger 是單例、Handler 會持有資源、動態命名是洩漏溫床。正確姿勢讓日誌既清晰又安全。

copyright © 萬盛學電腦網 all rights reserved