萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux uniq 命令深度解析:去重、計數與欄位過濾實戰技巧

uniq 核心機制:相鄰行比較

關鍵限制:uniq 僅比較相鄰行。非相鄰的重複行不會被識別,因此實務上常搭配 sort 先排序再去重。

語法與核心選項

uniq [選項] [輸入檔] [輸出檔]
# 輸入用 - 表示標準輸入,輸出檔不可與輸入檔相同
選項功能典型場景
-c每行行首顯示重複次數統計頻率分佈
-d僅顯示重複行(每組一次)找出重複項
-D顯示所有重複行(含所有副本)審計完整重複集合
-u僅顯示唯一行(不重複)找出單一出現項
-i忽略大小寫比較不區分大小寫去重
-f N忽略前 N 個欄位(以空白分隔)按特定欄位去重
-s N忽略前 N 個字符按字符位置去重
-w N比較前 N 個字符前綴匹配去重

實戰範例演示

測試檔案 test.txt

boy took bat home
boy took bat home
girl took bat home
boy took bat home
boy took bat home
dog brought hat home
dog brought hat home
dog brought hat home

1. 基礎去重(相鄰)

$ uniq test.txt
boy took bat home
girl took bat home
boy took bat home
dog brought hat home

注意:第 1-2 行合併,第 3 行獨立,第 4-5 行合併,第 6-8 行合併。非相鄰的 "boy..." 仍保留兩組。

2. 計數統計

$ uniq -c test.txt
2 boy took bat home
1 girl took bat home
2 boy took bat home
3 dog brought hat home

3. 全域去重(排序後)

$ sort test.txt | uniq -c
4 boy took bat home
3 dog brought hat home
1 girl took bat home

黃金組合:sort | uniq -c | sort -nr 可得出頻率降序排行。

4. 篩選重複/唯一行

# 僅顯示有重複的行(每組一次)
$ uniq -d test.txt
boy took bat home
dog brought hat home

# 顯示所有重複行副本
$ uniq -D test.txt
boy took bat home
boy took bat home
boy took bat home
boy took bat home
dog brought hat home
dog brought hat home
dog brought hat home

# 僅顯示不重複的行
$ uniq -u test.txt
girl took bat home

5. 欄位與字符級過濾

# 忽略前 1 個欄位(boy/girl/dog),比較 "took bat home..."
$ uniq -f 1 test.txt
boy took bat home
dog brought hat home

# 忽略前 2 個欄位 + 忽略第 3 個欄位首字符
$ uniq -f 2 -s 2 test.txt
boy took bat home
# 比較內容實為 "at home",故全部視為重複

實務應用場景

場景 1:日誌分析 - 統計高頻錯誤

# 提取錯誤行 -> 排序 -> 計數 -> 取前 20
grep "ERROR" /var/log/app.log | sort | uniq -c | sort -nr | head -20

場景 2:用戶行為去重 - 統計獨立訪客

# 假設日誌格式:IP 方法 URL 狀態碼
# 統計獨立 IP 訪問次數
awk '{print $1}' access.log | sort | uniq -c | sort -nr

# 統計每個 URL 的獨立訪客數
awk '{print $3, $1}' access.log | sort -u | awk '{print $1}' | sort | uniq -c | sort -nr

場景 3:配置檔清理 - 移除重複配置行

# 保留順序同時去重(awk 方案)
awk '!seen[$0]++' config.conf > config.conf.dedup

# 或排序後去重(不保留原順序)
sort config.conf | uniq > config.conf.dedup

場景 4:CSV 特定欄位去重

# 以第 2 欄位(用戶ID)去重,保留首次出現
sort -t',' -k2,2 users.csv | uniq -f 1

進階組合技

tr ' ' '\n' < file | sort | uniq -c | sort -nrcat -n file | sort -k2 | uniq -D -f 1sort file1 file2 | uniq -ugrep -c '^$' file 或 sed -n '/^$/p' file | wc -l
需求命令管道
統計單詞頻率
找出重複行並顯示行號
比較兩檔案差異行
統計空行數量

效能提示

  • 大檔案優先用 sort -u 替代 sort | uniq(內建去重,少一個管道)
  • LC_ALL=C 可大幅加速排序:LC_ALL=C sort bigfile | uniq -c
  • 記憶體不足時使用 sort -T /tmp 指定臨時目錄
copyright © 萬盛學電腦網 all rights reserved