uniq 用於檢查或移除相鄰重複行。輸入必須經過排序(sort)才能移除所有重複行。
uniq [選項] [輸入檔] [輸出檔]
| 參數 | 長參數 | 說明 |
|---|---|---|
-c | --count | 每行前顯示重複次數 |
-d | --repeated | 僅顯示重複出現的行(各顯示一次) |
-u | --unique | 僅顯示唯一出現的行(不重複) |
-f N | --skip-fields=N | 忽略前 N 個欄位(以空白分隔) |
-s N | --skip-chars=N | 忽略前 N 個字元 |
-w N | --check-chars=N | 只比較前 N 個字元 |
-i | --ignore-case | 忽略大小寫比較 |
# 統計各行出現次數並按數量排序 sort file.txt | uniq -c | sort -nr # 只顯示重複行 sort file.txt | uniq -d # 只顯示不重複行 sort file.txt | uniq -u # 忽略大小寫去重 sort -f file.txt | uniq -i # 比對第 2 欄位之後的內容 sort -k2 file.txt | uniq -f1
uniq 僅比較相鄰行,未排序檔案直接用 uniq 無法移除非相鄰重複行。sort -u 直接去重,效率高於 sort | uniq。