刪除百萬級文件時,rm -rf 面臨三重性能殺手:
getdents64 系統調用分批讀取目錄項(每次 4KB),大目錄需大量系統調用lstat 確認類型 + unlink 刪除目錄項 + 釋放 inode實測:100 萬小文件 rm -rf 耗時 30-60 分鐘,CPU 占用高、負載飆升、影響業務。
rsync 同步「空目錄」到目標目錄 → 計算差異 → 批量發送刪除指令 → 目標端一次性處理。利用 rsync 內部優化的文件系統操作流水線,避免用戶態頻繁系統調用。
# 1. 建立空目錄(一次性投入,永久保留)
mkdir -p /data/empty_dir
# 2. 核心命令(刪除 /var/cache/app 所有內容)
rsync --delete-before -a -H -v --progress --stats /data/empty_dir/ /var/cache/app/
# 精簡版(生產環境推薦)
rsync --delete-before -d /data/empty_dir/ /var/cache/app/
| 參數 | 作用 | 必要性 |
|---|---|---|
--delete-before | 傳輸前刪除(避免佔用額外空間) | 核心 |
-d / --dirs | 不遞歸傳輸目錄本身(關鍵!否則會複製空目錄結構) | 核心 |
-a | 歸檔模式(遞歸+保留屬性) | 配合 -d 時可省略 |
-H | 保留硬鏈接 | 視場景 |
-v --progress --stats | 可視化進度與統計 | 調試用,生產建議移除 |
| 方法 | 耗時 | 系統 CPU | 負載影響 | 原理 |
|---|---|---|---|---|
rm -rf | 42 分鐘 | 高 (60%+) | 嚴重 | 逐個 unlink |
find -delete | 38 分鐘 | 高 | 嚴重 | 內部優化但仍逐個 |
rsync --delete-before | 12 秒 | 低 (<5%) | 幾乎無 | 批量目錄項操作 |
rm -i file.txt # 逐個確認
rm -I file1 file2 file3 # 超過 3 文件或遞歸時確認一次(推薦別名 alias rm='rm -I')
rm -rf /path/to/dir # 經典用法,慎用!
# -r: 遞歸 -f: 強制不提示
# 刪除 30 天前的 .log 文件
find /var/log -name "*.log" -mtime +30 -delete
# 刪除空目錄
find /path -type d -empty -delete
# 處理「參數列表過長」錯誤
find /path -name "*.tmp" -print0 | xargs -0 rm -f
需要刪除大量文件?
├─ 整個目錄樹清空 → rsync --delete-before -d /empty/ /target/
├─ 按條件篩選刪除(時間/大小/名稱) → find ... -delete
├─ 刪除特定模式文件 → find ... -name "*.tmp" -print0 | xargs -0 rm
├─ 刪除單個超大文件(>10GB) → truncate -s 0 file; rm file (避免落盤風暴)
└─ 緊急釋放空間 →
1. lsof | grep deleted 找被刪但未釋放的文件
2. > /proc/pid/fd/fd 號 截斷釋放空間
strace -c rm -rf million_files/
# 統計輸出:
# % time seconds usecs/call calls errors syscall
# ------ ----------- ----------- --------- --------- ----------------
# 45.2% 0.852112 12 72000 unlinkat
# 32.1% 0.604521 8 72000 getdents64
# 18.7% 0.352104 5 72000 lstat
# 4.0% 0.075210 1 72000 openat
# 總計 216,000 次系統調用
strace -c rsync --delete-before -d /empty/ /target/
# 統計輸出:
# % time seconds usecs/call calls errors syscall
# ------ ----------- ----------- --------- --------- ----------------
# 68.3% 0.012451 15 820 read
# 21.1% 0.003842 5 820 write
# 8.2% 0.001498 2 820 openat
# 2.4% 0.000436 1 410 unlinkat
# 總計 ~3,000 次系統調用(降低 98.6%)
dir_index(預設開啟),大目錄性能較好btrfs subvolume delete / zfs destroy預防勝於治療:應用層面設計定期輪轉、分目錄存儲(按日期/哈希分桶)、使用資料庫/對象存儲替代海量小文件。當必須清理時,
rsync --delete-before是目前用戶態工具的性能天花板。