ls/find 在億級目錄下掃描數小時甚至失響應雙引用計數器模型:
rm 實際操作是 i_nlink--關鍵現象:進程持有文件時執行 rm,ls 已不可見,但進程仍可正常讀寫,磁碟空間不釋放。直到進程關閉(i_count=0)且 i_nlink=0 時,空間才真正回收。
GPFS (IBM Spectrum Scale) 透過並行掃描 inode,繞過目錄樹遍歷,直接按策略匹配文件屬性。
# /etc/gpfs/trash_rule.txt
RULE EXTERNAL LIST 'trash_list' EXEC ''
RULE 'exp_scan_rule' LIST 'trash_list' FOR FILESET('data')
WHERE DAYS(CURRENT_TIMESTAMP) - DAYS(ACCESS_TIME) > 30
RULE 'tmp_scan_rule' LIST 'trash_list' FOR FILESET('data')
WHERE NAME LIKE '%.tmp'
# 掃描整個文件系統(3.2 億文件約 20 分鐘)
mmapplypolicy /data -P /etc/gpfs/trash_rule.txt -L 3 \
| grep "/data" | awk '{print $1}' > /tmp/trash_full.lst
# 分片:每片 10,000 文件,4 位數字後綴
split -a 4 -d -l 10000 /tmp/trash_full.lst /tmp/trash_split_
# 結果:trash_split_0000, trash_split_0001, ... 每檔 1萬行
#!/bin/bash
# /usr/local/bin/gpfs-trash-cleaner.sh
SPLIT_DIR="/tmp"
PREFIX="trash_split_"
MAX_PARALLEL=4 # 根據存儲後端 IOPS 調整
LOG="/var/log/gpfs-trash-clean.log"
# 並發控制
exec 3>&1
exec 4>&2
cleanup_shard() {
local shard=$1
local count=0
while IFS= read -r file; do
[ -z "$file" ] && continue
rm -f "$file" 2>/dev/null && ((count++))
done < "$shard"
echo "$count"
}
# 佇列式並發
shard_files=($SPLIT_DIR/${PREFIX}*)
total=${#shard_files[@]}
log "發現 $total 個分片,啟動 $MAX_PARALLEL 並發"
running=0
for shard in "${shard_files[@]}"; do
cleanup_shard "$shard" >> "$LOG" 2>&1 &
((running++))
if [ $running -ge $MAX_PARALLEL ]; then
wait -n
((running--))
fi
done
wait
log "所有分片處理完成"
| 指標 | 數值 | 備註 |
|---|---|---|
| 掃描文件總數 | 323,784,950 | mmapplypolicy 統計 |
| 目錄總數 | 158,696 | |
| 命中清理策略文件 | 1,752,274 | 約 0.54% |
| 分片數量 | 176 | 每片 10,000 文件 |
| 並發度 | 4 | 對應 4 個 NSD 服務器 |
| 刪除速率 | 1,546 文件/分 | df -i 間接測量 |
| 總耗時 | 19.5 小時 | time 實測 |
| 用戶態 CPU | 57 分鐘 | 佔總耗時 4.9% |
| 系統態 CPU | 2 分鐘 | 佔總耗時 0.17% |
| 指標 | 收集方式 | 告警閾值 |
|---|---|---|
| 待清理文件積壓量 | 掃描輸出行數 | > 100萬 連續 3 天 |
| 清理任務耗時 | time 輸出 | > 24 小時(未完成下一輪) |
| 刪除速率 | df -i 間接計算 | < 1000 文件/分 |
| inode 使用率 | df -i | > 85% |
| 磁碟使用率 | df -h | > 80% |
核心洞見:億級文件清理不是「更快的 rm」,而是「避免掃描、避免遍歷、避免並發衝突」。存儲架構設計(分桶、子卷、對象存儲)遠比工具優化更有杠桿效應。