萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux 命令行文本分析:單詞/字符頻率統計、長單詞提取與大小寫敏感控制

核心工具鏈

tr 轉換/刪除字符 → sort 排序 → uniq -c 計數 → sort -rn 降序 → head 取前 N。

一、準備測試語料

man man > man.txt  # 以 man 手冊為例

二、單詞頻率統計(Top 10)

cat man.txt | \
tr ' ' '\n' |                    # 空格換行,單詞分行
tr '[:upper:]' '[:lower:]' |     # 大寫轉小寫
tr -d '[:punct:]' |              # 刪除標點
grep -v '^[^a-z]*$' |            # 過濾非字母行(純數字/空行)
sort | uniq -c | sort -rn | head

輸出示例:

 262 the
 163 to
 112 is
 112 a
  78 of
  78 manual
  76 and
  64 if
  63 be
  58 or

三、字符頻率統計

1. 忽略大小寫(合併統計)

fold -w1 < man.txt |           # 每字符一行
sort | uniq -c | sort -rn | head

2. 區分大小寫

fold -w1 < man.txt |           # 每字符一行
tr '[:lower:]' '[:upper:]' |   # 統一大寫便於觀察
sort | uniq -c | sort -rn | head -20

3. 排除標點符號

fold -w1 < man.txt | \
tr '[:lower:]' '[:upper:]' | \
tr -d '[:punct:]' | \
sort | uniq -c | sort -rn | head -20

4. 多文件合併統計

cat *.txt | fold -w1 | tr '[:lower:]' '[:upper:]' | tr -d '[:punct:]' | sort | uniq -c | sort -rn | head -8

四、提取長單詞(≥10 字符)

cat man.txt | \
tr ' ' '\n' | \
tr '[:upper:]' '[:lower:]' | \
tr -d '[:punct:]' | \
tr -d '[:digit:]' | \
sort | uniq -c | sort -n | \
grep -E '^.{10,}$' | head
# 或使用 grep -E '.{10}' 匹配至少 10 字符

輸出示例:

1 ──────────────────────────────────────────
1 a all
1 abc any or all arguments within are optional
1 able see setlocale for precise details
...

五、進階:awk 單腳本實現詞頻統計

awk '
{
    gsub(/[[:punct:]]/, " ")
    for(i=1;i<=NF;i++) {
        word=tolower($i)
        if(word ~ /^[a-z]+$/) freq[word]++
    }
}
END {
    for(w in freq) print freq[w], w
}' man.txt | sort -rn | head

優勢:單進程、內存中哈希表、速度快、邏輯可控。

六、實用場景擴展

總結

Linux 文本處理「三板斧」:tr 清洗 → sort 排序 → uniq 計數。掌握 fold -w1 單字符拆分、grep -E 正則過濾、awk 單程序聚合,即可應對 95% 文本分析需求。大文件場景建議使用 LC_ALL=C 加速排序,或引入 ripgrep/fd 現代工具鏈。

copyright © 萬盛學電腦網 all rights reserved
場景命令模板
代碼標識符頻率grep -rhE '\b[a-zA-Z_][a-zA-Z0-9_]*\b' src/ | tr '[:upper:]' '[:lower:]' | sort | uniq -c | sort -rn
日誌錯誤碼統計grep -oE 'ERROR [0-9]{4}' app.log | sort | uniq -c | sort -rn
訪問日誌 IP Top 20awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
腳本 Shebang 統計head -1 *.sh | grep '^#!' | sed 's/^#!//' | sort | uniq -c | sort -rn