許多開發者深信 Python 的垃圾回收機制(GC)能自動處理所有記憶體問題。然而,當線上服務隨著運行時間記憶體持續飆升、甚至觸發 OOM Killer 時,現實狠狠打臉——Python 確實會發生記憶體洩漏。本文實戰復盤一個長連接 TCP Server 的記憶體洩漏排查全過程,揭示兩大核心成因與解決之道。
專案為 TCP Server,每個連入連線建立 Connection 實例管理。斷線時,實例應被回收,但記憶體卻持續增長。經觀察,連線斷開後 Connection 物件仍被引用,導致 GC 無法回收。
PID=50662; while true; do ps aux | grep $PID | grep -v grep | awk '{print $5" "$6}' >> mem.log; sleep 1; done
若曲線上升後趨平,代表洩漏已停止;若持續爬升,洩漏仍在進行。
import sys
print(sys.getrefcount(obj)) # 為 2 表示僅剩區域變數與 getrefcount 參數引用,離開作用域即回收
_CONNECTIONS = [] # 全域列表,隨進程存亡
class Connection:
def __init__(self, sock, addr):
self.sock = sock
def server_loop():
sock, addr = server_sock.accept()
conn = Connection(sock, addr)
_CONNECTIONS.append(conn) # 增加引用
# ... 處理邏輯 ...
sock.close()
# 忘記 _CONNECTIONS.remove(conn) → 物件永不釋放
全域變數、類屬性、單例容器的生命週期 = 進程生命週期。若不主動移除引用,物件將長駐記憶體。
try:
# ... 處理連線 ...
finally:
_CONNECTIONS.remove(conn) # 關鍵:釋放引用
class ConnectionHandler:
def __init__(self, conn):
self.conn = conn
class Connection:
def __init__(self, sock, addr):
self.handler = ConnectionHandler(self) # 互相持有 → 循環引用
Python GC 採用「參考計數 + 分代回收」。循環引用導致參考計數永不歸零,必須等待第二/三代掃描,回收延遲不可控。
import weakref
class ConnectionHandler:
def __init__(self, conn):
self.conn = weakref.proxy(conn) # 或 weakref.ref(conn)
class Connection:
def __init__(self, sock, addr):
self.handler = ConnectionHandler(self) # 不再形成強循環
weakref.proxy 讓 handler 能透明存取 connection,但不增加參考計數;connection 釋放時,proxy 自動失效(存取會拋 ReferenceError)。
remove/del/pop。weakref。記憶體洩漏不可怕,可怕的是沒有觀測手段與排查思路。掌握sys.getrefcount、objgraph、tracemalloc等工具,讓洩漏無所遁形。