萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux 磁盤緩存機制深度解析:頁緩存、回寫策略與 pdflush 線程

VFS 與三層緩存架構

虛擬文件系統 (VFS) 引入三級緩存提升 I/O 性能:

  1. 目錄項緩存:緩存路徑名到 inode 映射 (dentry)
  2. 索引節點緩存:緩存 inode 元數據
  3. 頁緩存:核心緩存,緩存文件數據頁 (4KB),所有文件讀寫經此

採用 延遲寫回:寫操作先修改頁緩存標記為「髒頁」,異步刷盤。

髒頁回寫觸發條件

  1. 內存壓力:頁緩存佔用過高,需回收頁框 (kswapd 觸發)。
  2. 髒頁比例超限:/proc/sys/vm/dirty_background_ratio (默認 10%) 觸發後台回寫;dirty_ratio (默認 20%) 強制同步回寫阻塞進程。
  3. 髒頁壽命超限:/proc/sys/vm/dirty_writeback_centisecs (默認 5 秒) 由 wb_kupdate 定時掃描。
  4. 用戶同步調用:sync()/fsync()/fdatasync() 系統調用。
  5. 文件系統掛載選項 sync:同步掛載,每次寫入即刷盤 (性能極差)。

回寫核心組件

1. pdflush / flush-x 內核線程 (內核 2.6.32+ 重命名為 flush-x)

  • 動態調整數量:2-8 個,根據負載自動創建/銷毀。
  • 執行兩類回調函數:
回調函數職責
background_writeout()後台回寫:掃描 address_space 树,回寫指定數量髒頁,由 dirty_background_ratio 觸發
wb_kupdate()定時回寫:由 wb_timer 定時器 (dirty_writeback_centisecs) 觸發,回寫超齡髒頁 (>30秒)

2. address_space 結構

每個 inode 擁有一個 address_space,管理該文件所有頁緩存,掛載在全局 inode_sb_list 或 inode_wb_list (寫回列表) 上,供 pdflush 高效遍歷。

3. 緩沖區頭

頁緩存細分為邏輯塊 (通常 4KB),每塊對應一個 buffer_head,記錄塊設備號、塊號、狀態位 (BH_Uptodate, BH_Dirty, BH_Lock)。回寫時僅刷新髒塊,最後清除頁 PG_dirty 標志。

關鍵 /proc 參數調優

文件默認值建議調優場景
/proc/sys/vm/dirty_background_ratio10 (%)SSD/高性能存儲可調大 (20-40%) 減少後台回寫頻率
/proc/sys/vm/dirty_ratio20 (%)增大可容忍更多髒頁,但風險同步阻塞時間變長
/proc/sys/vm/dirty_writeback_centisecs500 (5s)減小 (如 100=1s) 降低數據丟失風險,增加 I/O
/proc/sys/vm/dirty_expire_centisecs3000 (30s)髒頁最大壽命,超過由 wb_kupdate 強制回寫

風險與應對

  • 掉電丟失:髒頁未刷盤。關鍵數據庫/文件系統必須使用 fsync、O_SYNC、電池備寫緩存 (BBWC)、RAID 卡帶電池。
  • 緩存污染:大量一次性讀取擠佔緩存,可用 posix_fadvise(POSIX_FADV_DONTNEED) 或 vmtouch 管理。
  • 觀測工具:watch -d grep -A2 dirty /proc/vmstat、sar -B 1、iostat -x 1 (觀察 await/svctm/%util)。
copyright © 萬盛學電腦網 all rights reserved