tr 轉換/刪除字符 → sort 排序 → uniq -c 計數 → sort -rn 降序 → head 取前 N。
man man > man.txt # 以 man 手冊為例
cat man.txt | \
tr ' ' '\n' | # 空格換行,單詞分行
tr '[:upper:]' '[:lower:]' | # 大寫轉小寫
tr -d '[:punct:]' | # 刪除標點
grep -v '^[^a-z]*$' | # 過濾非字母行(純數字/空行)
sort | uniq -c | sort -rn | head
輸出示例:
262 the
163 to
112 is
112 a
78 of
78 manual
76 and
64 if
63 be
58 or
fold -w1 < man.txt | # 每字符一行
sort | uniq -c | sort -rn | head
fold -w1 < man.txt | # 每字符一行
tr '[:lower:]' '[:upper:]' | # 統一大寫便於觀察
sort | uniq -c | sort -rn | head -20
fold -w1 < man.txt | \
tr '[:lower:]' '[:upper:]' | \
tr -d '[:punct:]' | \
sort | uniq -c | sort -rn | head -20
cat *.txt | fold -w1 | tr '[:lower:]' '[:upper:]' | tr -d '[:punct:]' | sort | uniq -c | sort -rn | head -8
cat man.txt | \
tr ' ' '\n' | \
tr '[:upper:]' '[:lower:]' | \
tr -d '[:punct:]' | \
tr -d '[:digit:]' | \
sort | uniq -c | sort -n | \
grep -E '^.{10,}$' | head
# 或使用 grep -E '.{10}' 匹配至少 10 字符
輸出示例:
1 ──────────────────────────────────────────
1 a all
1 abc any or all arguments within are optional
1 able see setlocale for precise details
...
awk '
{
gsub(/[[:punct:]]/, " ")
for(i=1;i<=NF;i++) {
word=tolower($i)
if(word ~ /^[a-z]+$/) freq[word]++
}
}
END {
for(w in freq) print freq[w], w
}' man.txt | sort -rn | head
優勢:單進程、內存中哈希表、速度快、邏輯可控。
| 場景 | 命令模板 |
|---|---|
| 代碼標識符頻率 | grep -rhE '\b[a-zA-Z_][a-zA-Z0-9_]*\b' src/ | tr '[:upper:]' '[:lower:]' | sort | uniq -c | sort -rn |
| 日誌錯誤碼統計 | grep -oE 'ERROR [0-9]{4}' app.log | sort | uniq -c | sort -rn |
| 訪問日誌 IP Top 20 | awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20 |
| 腳本 Shebang 統計 | head -1 *.sh | grep '^#!' | sed 's/^#!//' | sort | uniq -c | sort -rn |