萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux 找出並刪除重複檔案:fdupes 完整使用指南

重複檔案佔用空間、備份時間、同步頻寬。fdupes 以 大小 → 部分 MD5 → 完整 MD5 → 逐位元組比對 四階段演算法精準識別重複檔,支援列出、刪除、硬連結替換、遞迴掃描,是 Linux 下去重首選工具。

安裝


# Debian/Ubuntu
apt-get install fdupes

# CentOS/RHEL (EPEL)
yum install fdupes

# Fedora 22+
dnf install fdupes

核心參數

參數功能
-r, --recurse遞迴掃描子目錄
-S, --size顯示重複檔大小
-d, --delete互動式刪除(保留一份)
-N, --noprompt搭配 -d,自動保留第一筆刪除其餘
-f, --omitfirst輸出時略過每組第一筆(配合管道刪除)
-1, --sameline每組重複檔單行顯示(便於解析)
-q, --quiet隱藏進度條
-s, --symlinks追蹤符號連結
-H, --hardlinks視硬連結為重複(預設視為非重複)
-n, --noempty忽略零長度檔案
-A, --nohidden忽略隱藏檔
-m, --summarize顯示統計摘要

實戰範例

1. 基本掃描


fdupes /home/user/photos

2. 遞迴掃描並顯示大小


fdupes -rS /home/user

3. 互動式刪除(保留一份)


fdupes -rd /home/user/photos
# 提示:Set 1 of 5, preserve files [1 - 3, all]: 1
# 輸入保留的編號,或 all 全部保留

4. 非互動自動刪除(保留第一筆)


fdupes -rdN /home/user/photos

5. 先輸出報告再人工審核


fdupes -rS /home/user > ~/dupes-report.txt
# 檢查報告後,再決定刪除策略

6. 以硬連結替換重複檔(節省空間、保留路徑)


# fdupes 本身無直接硬連結選項,配合腳本實現
fdupes -r1 /home/user | while read -r line; do
  set -- $line
  first="$1"
  shift
  for dup in "$@"; do
    rm -f "$dup"
    ln "$first" "$dup"
  done
done

7. 多目錄交叉比對


fdupes /home/user/photos /mnt/backup/photos

8. 忽略隱藏檔與零長度檔


fdupes -rAn /home/user

進階:配合 find 針對特定類型去重


# 僅掃描 JPEG
find /data -type f -name '*.jpg' -exec fdupes {} +

# 掃描超過 10MB 的檔案
find /data -type f -size +10M -exec fdupes {} +

效能提示

  • 大量檔案(>10萬)掃描耗時,建議分目錄、分時段執行。
  • SSD 上 MD5 計算受 CPU 限制,可用 jdupes(fdupes 分支,支援多執行緒、xxHash 加速)。
  • jdupes -r -T 4 /path:4 執行緒並行。

版本查詢與說明


fdupes --version
fdupes -h
copyright © 萬盛學電腦網 all rights reserved