萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux Shell 腳本:查找並刪除重複文件,僅保留一份副本

腳本用途

這個 Bash 腳本用於掃描當前目錄,找出內容完全相同的重複文件,並自動刪除多餘的副本,每組重複文件只保留一份樣本。腳本不會遞歸處理子目錄,也不處理目錄本身。

完整腳本代碼

#!/bin/bash
# name: remove_one.sh
# 用途:查找並刪除重複文件,每個文件只保留一個樣本

# 將文件按大小排序並輸出,配合 awk 處理
ls -lS | awk 'BEGIN {
    # 跳過第一行 total,讀取第一個文件信息
    getline; getline;
    name1=$9; size=$5;
}
{
    name2=$9;
    # 如果文件大小相同,可能內容也相同
    if (size == $5) {
        # 使用 md5sum 校驗和比對
        ("md5sum " name1) | getline; csum1=$1;
        ("md5sum " name2) | getline; csum2=$1;
        # 校驗和相同則為重複文件,輸出文件名
        if (csum1 == csum2) {
            print name1; print name2;
        }
    }
    size=$5; name1=name2;
}' | sort -u > duplicate_files

# 計算重複文件的 md5sum,去重後保留一份樣本列表
cat duplicate_files | xargs -I {} md5sum {} | sort | uniq -w 32 | awk '{print $2}' | sort -u > duplicate_sample

echo "Removing..."
# 刪除在 duplicate_files 中列出但不在 duplicate_sample 中的文件(即多餘副本)
comm duplicate_files duplicate_sample -2 -3 | tee /dev/stderr | xargs rm

echo "Removed duplicates files successfully"

執行示例

[root@node1 tmp]# sh remove_one.sh

注意事項

  • 腳本僅處理當前目錄下的普通文件,不會進入子目錄。
  • 執行前建議先備份重要數據,雖然腳本通過 MD5 雙重校驗,但刪除操作不可逆。
  • 若目錄下文件較多,首次運行可能較慢,因需逐對比對 MD5。
copyright © 萬盛學電腦網 all rights reserved