這個 Bash 腳本用於掃描當前目錄,找出內容完全相同的重複文件,並自動刪除多餘的副本,每組重複文件只保留一份樣本。腳本不會遞歸處理子目錄,也不處理目錄本身。
#!/bin/bash
# name: remove_one.sh
# 用途:查找並刪除重複文件,每個文件只保留一個樣本
# 將文件按大小排序並輸出,配合 awk 處理
ls -lS | awk 'BEGIN {
# 跳過第一行 total,讀取第一個文件信息
getline; getline;
name1=$9; size=$5;
}
{
name2=$9;
# 如果文件大小相同,可能內容也相同
if (size == $5) {
# 使用 md5sum 校驗和比對
("md5sum " name1) | getline; csum1=$1;
("md5sum " name2) | getline; csum2=$1;
# 校驗和相同則為重複文件,輸出文件名
if (csum1 == csum2) {
print name1; print name2;
}
}
size=$5; name1=name2;
}' | sort -u > duplicate_files
# 計算重複文件的 md5sum,去重後保留一份樣本列表
cat duplicate_files | xargs -I {} md5sum {} | sort | uniq -w 32 | awk '{print $2}' | sort -u > duplicate_sample
echo "Removing..."
# 刪除在 duplicate_files 中列出但不在 duplicate_sample 中的文件(即多餘副本)
comm duplicate_files duplicate_sample -2 -3 | tee /dev/stderr | xargs rm
echo "Removed duplicates files successfully"
[root@node1 tmp]# sh remove_one.sh