萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux 億級文件系統自動清理:從原理到 GPFS 生產實戰的最佳實踐

大規模文件清理的三大核心挑戰

  1. 掃描效能:傳統 ls/find 在億級目錄下掃描數小時甚至失響應
  2. 刪除死鎖**:定時任務重疊導致並發 unlink 衝突,性能雪崩
  3. 元數據風暴**:大量 unlink 引發 inode 表、目錄索引、日誌系統連鎖壓力

Linux 文件刪除底層機制

雙引用計數器模型:

  • i_count (內存引用計數):當前打開文件的進程數,>0 時文件不可真正刪除
  • i_nlink (鏈接計數):硬鏈接數 + 目錄項引用,rm 實際操作是 i_nlink--

關鍵現象:進程持有文件時執行 rm,ls 已不可見,但進程仍可正常讀寫,磁碟空間不釋放。直到進程關閉(i_count=0)且 i_nlink=0 時,空間才真正回收。

GPFS 高效掃描:mmapplypolicy 核心優勢

GPFS (IBM Spectrum Scale) 透過並行掃描 inode,繞過目錄樹遍歷,直接按策略匹配文件屬性。

策略文件定義


# /etc/gpfs/trash_rule.txt
RULE EXTERNAL LIST 'trash_list' EXEC ''
RULE 'exp_scan_rule' LIST 'trash_list' FOR FILESET('data')
  WHERE DAYS(CURRENT_TIMESTAMP) - DAYS(ACCESS_TIME) > 30
RULE 'tmp_scan_rule' LIST 'trash_list' FOR FILESET('data')
  WHERE NAME LIKE '%.tmp'

執行掃描並生成分片列表


# 掃描整個文件系統(3.2 億文件約 20 分鐘)
mmapplypolicy /data -P /etc/gpfs/trash_rule.txt -L 3 \
  | grep "/data" | awk '{print $1}' > /tmp/trash_full.lst

# 分片:每片 10,000 文件,4 位數字後綴
split -a 4 -d -l 10000 /tmp/trash_full.lst /tmp/trash_split_

# 結果:trash_split_0000, trash_split_0001, ... 每檔 1萬行

分片並發刪除架構


#!/bin/bash
# /usr/local/bin/gpfs-trash-cleaner.sh

SPLIT_DIR="/tmp"
PREFIX="trash_split_"
MAX_PARALLEL=4  # 根據存儲後端 IOPS 調整
LOG="/var/log/gpfs-trash-clean.log"

# 並發控制
exec 3>&1
exec 4>&2

cleanup_shard() {
    local shard=$1
    local count=0
    while IFS= read -r file; do
        [ -z "$file" ] && continue
        rm -f "$file" 2>/dev/null && ((count++))
    done < "$shard"
    echo "$count"
}

# 佇列式並發
shard_files=($SPLIT_DIR/${PREFIX}*)
total=${#shard_files[@]}
log "發現 $total 個分片,啟動 $MAX_PARALLEL 並發"

running=0
for shard in "${shard_files[@]}"; do
    cleanup_shard "$shard" >> "$LOG" 2>&1 &
    ((running++))
    if [ $running -ge $MAX_PARALLEL ]; then
        wait -n
        ((running--))
    fi
done
wait

log "所有分片處理完成"

實戰效能數據(50TB GPFS,3.2 億文件)

避免刪除死鎖的三重保障

  1. 單例鎖:flock -n 確保同一時間只有一個清理進程
  2. 分片隔離:每個分片獨立處理,失敗不影響其他
  3. 進程監控:systemd watchdog 或 cron wrapper 檢測殭屍進程並清理

通用文件系統最佳實踐(非 GPFS)

方案 A:inode 級掃描工具


# ext4/xfs: 使用 debugfs 直接讀取 inode 表(需卸載或唯讀掛載)
debugfs -R "ls -l" /dev/sda1 | awk '$2 ~ /^[0-9]+$/ && $7 < cutoff_time {print $1}' > delete_list

# XFS: xfs_db + xfs_bmap 組合(複雜,建議用 xfs_scrub 先檢查)

方案 B:應用層標記 + 異步清理


# 1. 應用寫入時打標記:setfattr -n user.expire_at -v "$(date -d '+30 days' +%s)" file
# 2. 定時掃描標記(輕量級):
find /data -type f -exec getfattr -n user.expire_at {} \; 2>/dev/null \
  | awk -F= '/expire_at/ && $2 < '$(date +%s)' {print $1}' \
  | sed "s/^# file: //" | sed 's/user.expire_at.*//' > expire_list

# 3. 異步刪除工作者消費列表

方案 C:目錄分桶 + 整體刪除


# 存儲時按日期分桶:/data/2024/01/15/file_xxx
# 清理時直接刪除整個日期目錄
rm -rf /data/2024/01/01/  # 秒級完成,避免遍歷文件
# 配合應用層路由邏輯

監控與可觀測性體系

指標數值備註
掃描文件總數323,784,950mmapplypolicy 統計
目錄總數158,696
命中清理策略文件1,752,274約 0.54%
分片數量176每片 10,000 文件
並發度4對應 4 個 NSD 服務器
刪除速率1,546 文件/分df -i 間接測量
總耗時19.5 小時time 實測
用戶態 CPU57 分鐘佔總耗時 4.9%
系統態 CPU2 分鐘佔總耗時 0.17%
指標收集方式告警閾值
待清理文件積壓量掃描輸出行數> 100萬 連續 3 天
清理任務耗時time 輸出> 24 小時(未完成下一輪)
刪除速率df -i 間接計算< 1000 文件/分
inode 使用率df -i> 85%
磁碟使用率df -h> 80%

架構演進建議

  1. 近期:落地分片並發清理腳本,建立監控儀表板
  2. 中期:推廣應用層「按時間分桶存儲」模式,根治大目錄問題
  3. 長期:評估對象存儲(S3/MinIO)替代 POSIX 文件系統存儲非結構化數據

核心洞見:億級文件清理不是「更快的 rm」,而是「避免掃描、避免遍歷、避免並發衝突」。存儲架構設計(分桶、子卷、對象存儲)遠比工具優化更有杠桿效應。

copyright © 萬盛學電腦網 all rights reserved