某業務系統每週產生 100GB 全量備份,存放於 /backup,目錄結構:
/backup/
├── 2024-01-01/
├── 2024-01-08/
├── 2024-01-15/
├── 2024-01-22/
├── 2024-01-29/
└── 2024-02-05/
需求:保留最近 4 週(28 天),自動清理更早備份,且不影響業務高峰期 I/O。
# 僅查找頂層目錄(-maxdepth 1),類型為目錄(-type d),修改時間超過 28 天(-mtime +28)
find /backup -maxdepth 1 -type d -mtime +28
# 輸出示例:
# /backup/2024-01-01
# /backup/2024-01-08
# /backup/2024-01-15
| 參數 | 含義 | 關鍵性 |
|---|---|---|
-maxdepth 1 | 僅掃描指定目錄,不遞歸子目錄 | 避免掃描 TB 級子目錄樹 |
-type d | 僅匹配目錄 | 保護文件不被誤刪 |
-mtime +28 | 修改時間超過 28 天(24h 整數倍) | 精確時間窗口 |
-mmin +40320 | 分鐘級精度(28天×24h×60m) | 更精確控制 |
# 完整命令
find /backup -maxdepth 1 -type d -mtime +28 -exec rsync --delete-before -d /data/empty/ {} \;
# 解析:
# -exec ... {} \; 對每個找到的目錄執行 rsync
# rsync --delete-before -d /data/empty/ 目標目錄
# 將空目錄同步到目標 → 目標內容被刪除 → 目標目錄變空
# 最後目標目錄仍存在(空),如需刪除目錄本身需額外處理
# 方案 A:find 再次掃描刪除空目錄
find /backup -maxdepth 1 -type d -empty -delete
# 方案 B:rsync 參數 --remove-empty-dirs(需 rsync 3.1.0+)
rsync --delete-before -d --remove-empty-dirs /data/empty/ /backup/
# 注意:這會掃描整個 /backup,不如方案 A 精準
#!/bin/bash
# /usr/local/bin/cleanup-backup.sh
# 每日 02:30 執行:30 2 * * * /usr/local/bin/cleanup-backup.sh
set -euo pipefail
BACKUP_ROOT="/backup"
EMPTY_DIR="/data/empty_dir"
RETENTION_DAYS=28
LOG_FILE="/var/log/backup-cleanup.log"
LOCK_FILE="/var/lock/backup-cleanup.lock"
# 並發鎖保護
exec 200>"$LOCK_FILE"
flock -n 200 || { echo "$(date) Another instance running, exit" >> "$LOG_FILE"; exit 1; }
log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }
# 確保空目錄存在
mkdir -p "$EMPTY_DIR"
log "=== 開始清理 $BACKUP_ROOT (保留 $RETENTION_DAYS 天) ==="
# 1. 先預覽將刪除的目錄
TO_DELETE=$(find "$BACKUP_ROOT" -maxdepth 1 -type d -mtime +"$RETENTION_DAYS" -printf '%f\n' | sort)
if [ -z "$TO_DELETE" ]; then
log "無需清理的目錄"
exit 0
fi
log "待刪除目錄:"
echo "$TO_DELETE" | tee -a "$LOG_FILE"
# 2. 執行刪除(核心邏輯)
DELETED_COUNT=0
while IFS= read -r dir; do
[ -z "$dir" ] && continue
TARGET="$BACKUP_ROOT/$dir"
log "清理中: $TARGET"
if rsync --delete-before -d "$EMPTY_DIR/" "$TARGET/" >> "$LOG_FILE" 2>&1; then
# 刪除空目錄本體
rmdir "$TARGET" 2>/dev/null && log " 已移除目錄: $dir" || log " 目錄非空或刪除失敗: $dir"
((DELETED_COUNT++))
else
log " 【錯誤】rsync 失敗: $dir"
fi
done <<< "$TO_DELETE"
# 3. 磁碟空間統計
FREE_AFTER=$(df -h "$BACKUP_ROOT" | awk 'NR==2 {print $4}')
log "清理完成,共處理 $DELETED_COUNT 個目錄,剩餘可用空間: $FREE_AFTER"
log "==="
# 可選:清理 30 天前的日誌
find /var/log -name "backup-cleanup.log.*" -mtime +30 -delete
-mtime +n:修改時間 > n*24 小時前(不含第 n 天)-mtime n:修改時間在 n*24 到 (n+1)*24 小時前-mtime -n:修改時間 < n*24 小時前-mmin 分鐘級精度,避免邊界模糊# 1. 排除保護目錄
find /backup -maxdepth 1 -type d -mtime +28 ! -name 'keep-*' -exec ...
# 2. 白名單機制
PROTECTED="2024-01-15 2024-01-22"
for p in $PROTECTED; do
TO_DELETE=$(echo "$TO_DELETE" | grep -v "^$p$")
done
# 3. 乾跑模式(首次部署必跑)
find /backup -maxdepth 1 -type d -mtime +28 -exec echo "DRY-RUN: rsync --delete-before -d /data/empty/ {}" \;
# 方法 1:ionice 設定空閒優先級
ionice -c 3 rsync --delete-before -d /data/empty/ /backup/2024-01-01/
# 方法 2:trickle 限制頻寬(需安裝)
trickle -d 1024 -u 1024 rsync ... # 限制 1MB/s
# 方法 3:分批次、間隔睡眠
for dir in $TO_DELETE; do
rsync --delete-before -d /data/empty/ "/backup/$dir/"
sleep 2 # 讓出 I/O 頻寬
done
| 方案 | 優點 | 缺點 | 適用場景 |
|---|---|---|---|
| find -exec rm -rf | 簡單直觀 | 極慢、高負載、inode 風暴 | 小量文件(<1萬) |
| find -delete | 內建優化、無 fork 開銷 | 仍逐個 unlink、大目錄慢 | 中量文件(1-10萬) |
| rsync --delete-before | 秒級、低負載、原子性好 | 需額外空目錄、邏輯反直覺 | 大量文件/目錄(>10萬) |
| 分區/子卷刪除 | 瞬間完成、零 I/O 壓力 | 需預先規劃存儲架構 | 新架構設計、Btrfs/ZFS |
# Prometheus 節點導出器文本收集器腳本
# /usr/local/bin/backup-cleanup-metrics.sh
echo "backup_cleanup_deleted_dirs_total $DELETED_COUNT" > /var/lib/prometheus/node-exporter/backup-cleanup.prom
echo "backup_cleanup_timestamp $(date +%s)" >> /var/lib/prometheus/node-exporter/backup-cleanup.prom
echo "backup_root_free_bytes $(df --output=avail -B1 $BACKUP_ROOT | tail -1)" >> /var/lib/prometheus/node-exporter/backup-cleanup.prom
Grafana 告警規則:backup_cleanup_deleted_dirs_total == 0 for 7d 可能表示清理腳本失效。