重複檔案佔用空間、備份時間、同步頻寬。fdupes 以 大小 → 部分 MD5 → 完整 MD5 → 逐位元組比對 四階段演算法精準識別重複檔,支援列出、刪除、硬連結替換、遞迴掃描,是 Linux 下去重首選工具。
# Debian/Ubuntu
apt-get install fdupes
# CentOS/RHEL (EPEL)
yum install fdupes
# Fedora 22+
dnf install fdupes
| 參數 | 功能 |
|---|---|
-r, --recurse | 遞迴掃描子目錄 |
-S, --size | 顯示重複檔大小 |
-d, --delete | 互動式刪除(保留一份) |
-N, --noprompt | 搭配 -d,自動保留第一筆刪除其餘 |
-f, --omitfirst | 輸出時略過每組第一筆(配合管道刪除) |
-1, --sameline | 每組重複檔單行顯示(便於解析) |
-q, --quiet | 隱藏進度條 |
-s, --symlinks | 追蹤符號連結 |
-H, --hardlinks | 視硬連結為重複(預設視為非重複) |
-n, --noempty | 忽略零長度檔案 |
-A, --nohidden | 忽略隱藏檔 |
-m, --summarize | 顯示統計摘要 |
fdupes /home/user/photos
fdupes -rS /home/user
fdupes -rd /home/user/photos
# 提示:Set 1 of 5, preserve files [1 - 3, all]: 1
# 輸入保留的編號,或 all 全部保留
fdupes -rdN /home/user/photos
fdupes -rS /home/user > ~/dupes-report.txt
# 檢查報告後,再決定刪除策略
# fdupes 本身無直接硬連結選項,配合腳本實現
fdupes -r1 /home/user | while read -r line; do
set -- $line
first="$1"
shift
for dup in "$@"; do
rm -f "$dup"
ln "$first" "$dup"
done
done
fdupes /home/user/photos /mnt/backup/photos
fdupes -rAn /home/user
# 僅掃描 JPEG
find /data -type f -name '*.jpg' -exec fdupes {} +
# 掃描超過 10MB 的檔案
find /data -type f -size +10M -exec fdupes {} +
jdupes(fdupes 分支,支援多執行緒、xxHash 加速)。jdupes -r -T 4 /path:4 執行緒並行。
fdupes --version
fdupes -h