linuxshell刪除重復文件只保留一份

 　　#!/bin/bash

　　#name:remove_one.sh

　　#用途：查找並刪除重復文件，每個文件只保留一個樣本

　　#將文件依據大小排序並輸出

　　ls -lS | awk 'BEGIN {

　　#得到第一行total總數並丟棄，讀取下一行

　　getline;getline;

　　name1=$9;size=$5;

　　}

　　{

　　name2=$9;

　　if(size==$5)

　　#大小一樣的可能是內容相同的文件

　　{

　　#用md5進行校驗和

　　("md5sum "name1)|getline; csum1=$1;

　　("md5sum "name2)|getline; csum2=$1;

　　#如果校驗和相同則為內容相同的文集，輸出名字

　　if( csum1==csum2 )

　　{

　　{print name1;print name2}

　　}

　　};

　　size=$5;name1=name2;

　　}' | sort -u > duplicate_files

　　#計算重復文件的md5sum，將重復文件中的一采樣寫入duplicate_sample中

　　cat duplicate_files|xargs -I {} md5sum {}| sort | uniq -w 32 | awk '{print $2}' | sort -u > duplicate_sample

　　echo Removing...

　　#刪除在duplicate_files中列出且未被duplicate_sample列出的全部文件

　　comm duplicate_files duplicate_sample -2 -3|tee /dev/stderr|xargs rm

　　echo Removed duplicates files successfully

　　--------------------------------------------------------

　　執行：

　　[root@node1 tmp]# sh remove_one.sh

　　過濾的是當前目錄下的，不處理目錄，不遞歸處理子目錄