萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux 定時自動清理 N 天前文件:find + rsync 企業級最佳實踐

業務場景:備份目錄定期清理

某業務系統每週產生 100GB 全量備份,存放於 /backup,目錄結構:

/backup/
├── 2024-01-01/
├── 2024-01-08/
├── 2024-01-15/
├── 2024-01-22/
├── 2024-01-29/
└── 2024-02-05/

需求:保留最近 4 週(28 天),自動清理更早備份,且不影響業務高峰期 I/O。

核心方案:find 精準定位 + rsync 高效刪除

步驟 1:精準定位待刪除目錄

# 僅查找頂層目錄(-maxdepth 1),類型為目錄(-type d),修改時間超過 28 天(-mtime +28)
find /backup -maxdepth 1 -type d -mtime +28

# 輸出示例:
# /backup/2024-01-01
# /backup/2024-01-08
# /backup/2024-01-15
參數含義關鍵性
-maxdepth 1僅掃描指定目錄,不遞歸子目錄避免掃描 TB 級子目錄樹
-type d僅匹配目錄保護文件不被誤刪
-mtime +28修改時間超過 28 天(24h 整數倍)精確時間窗口
-mmin +40320分鐘級精度(28天×24h×60m)更精確控制

步驟 2:rsync 執行高效刪除

# 完整命令
find /backup -maxdepth 1 -type d -mtime +28 -exec rsync --delete-before -d /data/empty/ {} \;

# 解析:
# -exec ... {} \;  對每個找到的目錄執行 rsync
# rsync --delete-before -d /data/empty/ 目標目錄
#   將空目錄同步到目標 → 目標內容被刪除 → 目標目錄變空
#   最後目標目錄仍存在(空),如需刪除目錄本身需額外處理

步驟 3:連帶刪除空目錄本體

# 方案 A:find 再次掃描刪除空目錄
find /backup -maxdepth 1 -type d -empty -delete

# 方案 B:rsync 參數 --remove-empty-dirs(需 rsync 3.1.0+)
rsync --delete-before -d --remove-empty-dirs /data/empty/ /backup/
# 注意:這會掃描整個 /backup,不如方案 A 精準

生產級自動化腳本

#!/bin/bash
# /usr/local/bin/cleanup-backup.sh
# 每日 02:30 執行:30 2 * * * /usr/local/bin/cleanup-backup.sh

set -euo pipefail

BACKUP_ROOT="/backup"
EMPTY_DIR="/data/empty_dir"
RETENTION_DAYS=28
LOG_FILE="/var/log/backup-cleanup.log"
LOCK_FILE="/var/lock/backup-cleanup.lock"

# 並發鎖保護
exec 200>"$LOCK_FILE"
flock -n 200 || { echo "$(date) Another instance running, exit" >> "$LOG_FILE"; exit 1; }

log() { echo "[$(date '+%F %T')] $*" | tee -a "$LOG_FILE"; }

# 確保空目錄存在
mkdir -p "$EMPTY_DIR"

log "=== 開始清理 $BACKUP_ROOT (保留 $RETENTION_DAYS 天) ==="

# 1. 先預覽將刪除的目錄
TO_DELETE=$(find "$BACKUP_ROOT" -maxdepth 1 -type d -mtime +"$RETENTION_DAYS" -printf '%f\n' | sort)
if [ -z "$TO_DELETE" ]; then
    log "無需清理的目錄"
    exit 0
fi

log "待刪除目錄:"
echo "$TO_DELETE" | tee -a "$LOG_FILE"

# 2. 執行刪除(核心邏輯)
DELETED_COUNT=0
while IFS= read -r dir; do
    [ -z "$dir" ] && continue
    TARGET="$BACKUP_ROOT/$dir"
    log "清理中: $TARGET"
    if rsync --delete-before -d "$EMPTY_DIR/" "$TARGET/" >> "$LOG_FILE" 2>&1; then
        # 刪除空目錄本體
        rmdir "$TARGET" 2>/dev/null && log "  已移除目錄: $dir" || log "  目錄非空或刪除失敗: $dir"
        ((DELETED_COUNT++))
    else
        log "  【錯誤】rsync 失敗: $dir"
    fi
done <<< "$TO_DELETE"

# 3. 磁碟空間統計
FREE_AFTER=$(df -h "$BACKUP_ROOT" | awk 'NR==2 {print $4}')
log "清理完成,共處理 $DELETED_COUNT 個目錄,剩餘可用空間: $FREE_AFTER"
log "==="

# 可選:清理 30 天前的日誌
find /var/log -name "backup-cleanup.log.*" -mtime +30 -delete

關鍵細節與避坑指南

時間判斷陷阱

  • -mtime +n:修改時間 > n*24 小時前(不含第 n 天)
  • -mtime n:修改時間在 n*24 到 (n+1)*24 小時前
  • -mtime -n:修改時間 < n*24 小時前
  • 建議:用 -mmin 分鐘級精度,避免邊界模糊

防誤刪保護機制

# 1. 排除保護目錄
find /backup -maxdepth 1 -type d -mtime +28 ! -name 'keep-*' -exec ...

# 2. 白名單機制
PROTECTED="2024-01-15 2024-01-22"
for p in $PROTECTED; do
    TO_DELETE=$(echo "$TO_DELETE" | grep -v "^$p$")
done

# 3. 乾跑模式(首次部署必跑)
find /backup -maxdepth 1 -type d -mtime +28 -exec echo "DRY-RUN: rsync --delete-before -d /data/empty/ {}" \;

I/O 節流:不影響業務高峰

# 方法 1:ionice 設定空閒優先級
ionice -c 3 rsync --delete-before -d /data/empty/ /backup/2024-01-01/

# 方法 2:trickle 限制頻寬(需安裝)
trickle -d 1024 -u 1024 rsync ...  # 限制 1MB/s

# 方法 3:分批次、間隔睡眠
for dir in $TO_DELETE; do
    rsync --delete-before -d /data/empty/ "/backup/$dir/"
    sleep 2  # 讓出 I/O 頻寬
done

替代方案對比

方案優點缺點適用場景
find -exec rm -rf簡單直觀極慢、高負載、inode 風暴小量文件(<1萬)
find -delete內建優化、無 fork 開銷仍逐個 unlink、大目錄慢中量文件(1-10萬)
rsync --delete-before秒級、低負載、原子性好需額外空目錄、邏輯反直覺大量文件/目錄(>10萬)
分區/子卷刪除瞬間完成、零 I/O 壓力需預先規劃存儲架構新架構設計、Btrfs/ZFS

監控與告警

# Prometheus 節點導出器文本收集器腳本
# /usr/local/bin/backup-cleanup-metrics.sh
echo "backup_cleanup_deleted_dirs_total $DELETED_COUNT" > /var/lib/prometheus/node-exporter/backup-cleanup.prom
echo "backup_cleanup_timestamp $(date +%s)" >> /var/lib/prometheus/node-exporter/backup-cleanup.prom
echo "backup_root_free_bytes $(df --output=avail -B1 $BACKUP_ROOT | tail -1)" >> /var/lib/prometheus/node-exporter/backup-cleanup.prom

Grafana 告警規則:backup_cleanup_deleted_dirs_total == 0 for 7d 可能表示清理腳本失效。

copyright © 萬盛學電腦網 all rights reserved