萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> 程式語言綜合

Python 記憶體管理深度解析:freeblock、物件分配器與 Arena/Pool/Block 階層

Python 記憶體管理採用分層架構:Arena → Pool → Block,類似分配器設計。本文從 CPython 原始碼角度深度解析 `freeblock` 機制、小物件快取分配流程、記憶體回收與碎片控制。

記憶體管理三層架構


+------------------+
|     Arena        |  大塊記憶體 (預設 256KB, 可配置)
|  (ob_malloc)     |  向系統申請 (mmap/VirtualAlloc)
+------------------+
        │
        ▼
+------------------+
|      Pool        |  固定大小 (4KB),屬於特定 size class (8~512 bytes)
|  (8/16/.../512)  |  內含 freeblock 鏈表管理空閒 block
+------------------+
        │
        ▼
+------------------+
|      Block       |  實際分配給物件的記憶體塊
|  (8~512 bytes)   |  大於 512 bytes 直接走系統 malloc
+------------------+

關鍵資料結構


// object.h / obmalloc.c 簡化定義
typedef struct _block {
    struct _block *next;  // freeblock 鏈表下一個
} block;

typedef struct _pool {
    block *freeblock;     // 指向第一個空閒 block
    uint16_t nextoffset;  // 下一個未初始化 block 的偏移量
    uint16_t maxnextoffset; // pool 結束偏移
    uint8_t szidx;        // size class 索引
    uint8_t refcount;     // 參考計數 (用於 pool 釋放)
    struct _pool *nextpool; // 同 size class 下一個 pool
    struct _pool *prevpool; // 雙向鏈表
} pool;

分配流程:_PyObject_Malloc


static void* _PyObject_Malloc(void* ctx, size_t nbytes) {
    // 1. 大小分類 -> size class 索引 (szidx)
    // 2. 找對應 size class 的 usable_pools 鏈表
    // 3. 取 pool->freeblock
    //    若 freeblock != NULL: 
    //        直接從鏈表取出,更新 freeblock = freeblock->next
    //    否則 (pool 還有未初始化空間):
    //        pool->freeblock = (block*)pool + pool->nextoffset;
    //        pool->nextoffset += INDEX2SIZE(szidx);
    //        *(block**)(pool->freeblock) = NULL;  // 【關鍵行】初始化新 block 的 next 指針為 NULL
    //        取出該 block,freeblock = NULL
    // 4. 若無可用 pool,申請新 arena/pool
}

為什麼要 `*(block**)(pool->freeblock) = NULL`?

新切出的 block 記憶體內容未初始化 (垃圾值)。將其第一個機器字 (即 `block.next`) 設為 `NULL`,將其初始化為**單元素鏈表尾端**。這樣後續釋放時,能正確插入鏈表頭部。

釋放流程:_PyObject_Free


static void _PyObject_Free(void* ctx, void* p) {
    // 1. 由 p 反推 pool (pool = POOL_ADDR(p))
    // 2. 將 p 插入 pool->freeblock 鏈表頭部
    *(block**)p = pool->freeblock;  // p->next = 當前頭部
    pool->freeblock = (block*)p;    // 更新頭部為 p
    // 3. 若 pool 變全滿 (refcount 歸零),歸還 arena
}

這正是經典的 **LIFO 自由鏈表** 插入操作。`freeblock` 永遠指向鏈表頭,遍歷用 `freeblock = freeblock->next`。

SGI STL 二級配置器對比

SGI STL 使用 `union` 節省空間:


union _Obj {
    union _Obj* free_list_link;  // 空閒時作為 next 指針
    char client_data[1];         // 使用時存放資料
};

Python 採用**外部鏈表節點** (`block` 結構體獨立於用戶資料),優點:

  • 用戶資料區域無額外開銷 (SGI union 佔用指標大小空間)。
  • 支援任意對齊需求,不受 union 對齊限制。
  • 釋放時只需將指標轉為 `block*` 操作,無需知道用戶資料結構。

大物件分配 (> 512 bytes)

直接委派給系統 `malloc`/`free` (經 `PyObject_Malloc`/`PyObject_Free` 分派)。大物件不進入 pool 系統,避免內部碎片。

Arena 管理

  • Arena 為 256KB (可配置 `PYTHON_ARENA_SIZE`),向 OS 申請 (mmap/VirtualAlloc)。
  • Arena 內劃分多個 4KB Pool。
  • Arena 釋放條件:所有 pool 均空閒 (refcount=0),且非當前活躍 arena。
  • 保留部分空閒 arena 供下次複用,減少系統呼叫。

記憶體檢視與除錯


import sys
print(sys.getsizeof([]))        # 列表物件本身大小 (不含元素)
print(sys.getsizeof([1,2,3]))   # 含指標陣列

# 詳細記憶體統計 (需 debug build)
# python -X showrefcount -c "import sys; print(sys.gettotalrefcount())"

實務影響與調優

  • 大量小物件 (如大量 `int`、`str`、小 `tuple`) 受益於 pool 分配器,分配極快。
  • 頻繁建立/銷毀大物件 (`bytearray`, 大 `list`, `dict`) 走系統 malloc,較慢。
  • 記憶體碎片:長期運行進程可能因 arena 無法完全釋放導致 RSS 偏高,考慮定期重啟 worker。
  • 自定義分配器:可透過 `PyMem_SetAllocator` 替換原始分配器 (慎用)。

圖解:freeblock 鏈表操作

freeblock 鏈表示意圖

圖示說明:Pool 內部 Block 透過 `freeblock` 指針串聯成單向鏈表,分配從頭取,釋放插回頭。

copyright © 萬盛學電腦網 all rights reserved