萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux uniq 指令:檢查與移除文字檔重複行

uniq 用於檢查或移除相鄰重複行。輸入必須經過排序(sort)才能移除所有重複行。

語法

uniq [選項] [輸入檔] [輸出檔]

常用參數

參數長參數說明
-c--count每行前顯示重複次數
-d--repeated僅顯示重複出現的行(各顯示一次)
-u--unique僅顯示唯一出現的行(不重複)
-f N--skip-fields=N忽略前 N 個欄位(以空白分隔)
-s N--skip-chars=N忽略前 N 個字元
-w N--check-chars=N只比較前 N 個字元
-i--ignore-case忽略大小寫比較

經典組合招

# 統計各行出現次數並按數量排序
sort file.txt | uniq -c | sort -nr

# 只顯示重複行
sort file.txt | uniq -d

# 只顯示不重複行
sort file.txt | uniq -u

# 忽略大小寫去重
sort -f file.txt | uniq -i

# 比對第 2 欄位之後的內容
sort -k2 file.txt | uniq -f1

注意事項

  • uniq 僅比較相鄰行,未排序檔案直接用 uniq 無法移除非相鄰重複行。
  • 輸出檔不可與輸入檔同名(會清空檔案),需用暫存檔或重導向。
  • 大檔案建議使用 sort -u 直接去重,效率高於 sort | uniq。
copyright © 萬盛學電腦網 all rights reserved