萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python 記憶體洩漏深度剖析:從循環引用到全域變數陷阱

前言:打破「Python 不會記憶體洩漏」的迷思

許多開發者深信 Python 的垃圾回收機制(GC)能自動處理所有記憶體問題。然而,當線上服務隨著運行時間記憶體持續飆升、甚至觸發 OOM Killer 時,現實狠狠打臉——Python 確實會發生記憶體洩漏。本文實戰復盤一個長連接 TCP Server 的記憶體洩漏排查全過程,揭示兩大核心成因與解決之道。

何時才需要嚴肅對待記憶體洩漏?

  • 短命腳本:執行完畢即退出,OS 會回收所有記憶體,無須過度優化。
  • 長期運行服務:Web 伺服器、即時通訊、資料管線等 7×24 小時進程,必須建立記憶體洩漏偵測與預防機制。

案例場景:連結物件無法釋放

專案為 TCP Server,每個連入連線建立 Connection 實例管理。斷線時,實例應被回收,但記憶體卻持續增長。經觀察,連線斷開後 Connection 物件仍被引用,導致 GC 無法回收。

偵測工具鏈

1. 記憶體趨勢監控(Shell 一行指令)

PID=50662; while true; do ps aux | grep $PID | grep -v grep | awk '{print $5" "$6}' >> mem.log; sleep 1; done

若曲線上升後趨平,代表洩漏已停止;若持續爬升,洩漏仍在進行。

2. 參考計數檢查

import sys
print(sys.getrefcount(obj))  # 為 2 表示僅剩區域變數與 getrefcount 參數引用,離開作用域即回收

成因一:被「長壽」容器引用的物件(全域/類變數)

錯誤模式

_CONNECTIONS = []  # 全域列表,隨進程存亡

class Connection:
    def __init__(self, sock, addr):
        self.sock = sock

def server_loop():
    sock, addr = server_sock.accept()
    conn = Connection(sock, addr)
    _CONNECTIONS.append(conn)   # 增加引用
    # ... 處理邏輯 ...
    sock.close()
    # 忘記 _CONNECTIONS.remove(conn) → 物件永不釋放

全域變數、類屬性、單例容器的生命週期 = 進程生命週期。若不主動移除引用,物件將長駐記憶體。

修正模式

try:
    # ... 處理連線 ...
finally:
    _CONNECTIONS.remove(conn)   # 關鍵:釋放引用

成因二:循環引用

錯誤模式

class ConnectionHandler:
    def __init__(self, conn):
        self.conn = conn

class Connection:
    def __init__(self, sock, addr):
        self.handler = ConnectionHandler(self)  # 互相持有 → 循環引用

Python GC 採用「參考計數 + 分代回收」。循環引用導致參考計數永不歸零,必須等待第二/三代掃描,回收延遲不可控。

解決方案:弱引用

import weakref

class ConnectionHandler:
    def __init__(self, conn):
        self.conn = weakref.proxy(conn)  # 或 weakref.ref(conn)

class Connection:
    def __init__(self, sock, addr):
        self.handler = ConnectionHandler(self)  # 不再形成強循環

weakref.proxy 讓 handler 能透明存取 connection,但不增加參考計數;connection 釋放時,proxy 自動失效(存取會拋 ReferenceError)。

實戰心法總結

  1. 容器清理:任何長壽容器(list/dict/set/類屬性)存放短命物件,必須在物件結束時 remove/del/pop。
  2. 雙向關聯:父↔子、雙向鏈表、觀察者模式等雙向引用,一律改用 weakref。
  3. 監控先行:上線前建立記憶體基線與告警,洩漏早發現、早修復。
記憶體洩漏不可怕,可怕的是沒有觀測手段與排查思路。掌握 sys.getrefcount、objgraph、tracemalloc 等工具,讓洩漏無所遁形。
copyright © 萬盛學電腦網 all rights reserved