高併發場景下,**CPU 往往在等 I/O**。準確判斷「是業務邏輯慢,還是磁盤慢」是性能調優的分水嶺。
top - 15:30:01 up 30 days, 2:15, 1 user, load average: 1.23, 1.15, 1.10
Tasks: 215 total, 1 running, 210 sleeping, 0 stopped, 4 zombie
%Cpu(s): 5.3 us, 2.1 sy, 0.0 ni, 85.7 id, 6.8 wa, 0.0 hi, 0.1 si
KiB Mem : 16384200 total, 2145600 free, 8234100 used, 6004500 buff/cache
KiB Swap: 8388604 total, 8388604 free, 0 used. 7123456 avail Mem
關鍵指標:wa (iowait) — **CPU 等待磁盤 I/O 完成的時間百分比**。
wa > 20%:明顯 I/O 瓶頸wa 5-20%:I/O 壓力較大,需進一步分析wa < 5%:I/O 非主要瓶頸局限:無法識別具體設備、進程、讀寫模式。
vmstat 2 5
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
2 1 0 123456 56789 123456 0 0 120 340 1200 3400 10 5 80 5 0
1 0 0 123000 56789 124000 0 0 200 500 1500 4000 12 6 78 4 0
...
核心欄位解讀:
| 欄位 | 含義 | 異常判斷 | |
|---|---|---|---|
r | 可運行進程數 (含正在運行) | 長期 > CPU 核心數 2倍 → CPU 飽和 | |
b | 不可中斷睡眠進程數 (通常等 I/O) | 持續 > 0 → **I/O 瓶頸強信號** | |
bi | 塊設備讀入塊數/秒 (扇區/塊) | 持續高值 → 讀密集 | |
bo | 塊設備寫出塊數/秒 | 持續高值 → 寫密集 | |
in | 中斷數/秒 (含時鐘) | 極高值 → 中斷風暴 | |
cs | 上下文切換/秒 | 極高值 → 鎖競爭/頻繁調度 | |
wa | CPU 等待 I/O % | 同 top |
| 欄位 | 含義 | 健康基線 | 異常信號 |
|---|---|---|---|
r/s, w/s | 每秒讀/寫請求數 (IOPS) | SSD: 10k-100k+ HDD: 100-200 | 接近設備極限 IOPS |
rkB/s, wkB/s | 每秒讀/寫 KB 數 (吞吐) | SSD: 500MB/s+ HDD: 100-200MB/s | 接近頂帶寬 |
await | 平均 I/O 等待時間 (ms) = 隊列等待 + 服務時間 | SSD: < 1ms HDD: < 10ms | > 20ms (HDD) / > 5ms (SSD) 明顯延遲 |
svctm | 平均服務時間 (ms) — **設備內部處理時間** | SSD: < 0.5ms | 接近 await → 設備本身慢 |
%util | 設備帶寬利用率 (有 I/O 請求的時間百分比) | < 70% | > 80% 設備飽和,**接近 100% 為極限** |
avgqu-sz | 平均請求隊列長度 | < 1 | > 10 明顯堆積 |
rrqm/s, wrqm/s | 合併請求數/秒 | 高值表示順序 I/O 合併良好 | 低值表示隨機 I/O 多 |
iostat -dx 1
│
├─ %util 接近 100% ──▶ 設備飽和
│ ├─ await >> svctm ──▶ 隊列排隊嚴重 → 減少併發/升級存儲/調整 I/O 調度器
│ └─ await ≈ svctm ──▶ 設備本身慢 → 換 NVMe/優化 RAID 卡/檢查固件
│
├─ %util 低但 await 高 ──▶ 可能是:
│ ├─ 文件系統鎖競爭 (ext4/jbd2、xlog)
│ ├─ NFS/網絡存儲延遲
│ └─ 虛擬化環境存儲爭用 (鄰居噪音)
│
└─ b (vmstat) 持續 > 0 ──▶ 進程陷入 D 狀態
├─ strace -p PID 確認系統調用
└─ 對應 iostat 設備定位故障盤
# 1. 進程級 I/O 統計 (需內核 2.6.20+)
pidstat -d 1 -p ALL | grep -v '^$' | awk '$8 > 1000' # 顯示每秒讀寫 > 1MB 的進程
# 2. 進程 I/O 優先級調整
ionice -c 2 -n 0 -p PID # Best-effort 最高優先級
ionice -c 3 -p PID # Idle 僅在閒置時 I/O (備份任務)
# 3. 文件級熱點 (需內核支援)
perf record -g -e block:block_rq_issue -- sleep 30
perf report
| 調度器 | 適用場景 | 設置方式 |
|---|---|---|
none / mq-deadline | NVMe SSD、虛擬化環境 (無需合併) | echo none > /sys/block/nvme0n1/queue/scheduler |
bfq | 桌面/多媒體、低延遲互動 | echo bfq > /sys/block/sda/queue/scheduler |
kyber | 高併發 SSD、多隊列 | echo kyber > /sys/block/sda/queue/scheduler |