萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux 命令列文本處理三劍客:grep、sed、awk 實戰技巧全解析

正則表達式:文本處理的通用鑰匙

正則表達式(Regular Expression)本質是「有規律、有模式的字符串描述語言」。掌握少量元字符即可解決 90% 文本匹配需求:

元字符含義範例
.任意單字符a.c 匹配 abc, axc
*前字符 0+ 次ab*c 匹配 ac, abc, abbc
+前字符 1+ 次ab+c 匹配 abc, abbc
?前字符 0/1 次ab?c 匹配 ac, abc
^行首^root 匹配以 root 開頭的行
$行尾bash$ 匹配以 bash 結尾的行
[]字符集合[aeiou] 匹配任一元音
[^]排除字符集[^0-9] 非數字
()捕獲分組(\d{3})-(\d{4})
|或邏輯cat|dog
\1..\9反向引用(\w+)\s+\1 匹配重複單詞

grep 族群:文本檢索利器

三大變體

  • grep:基本正則(BRE),最通用
  • egrep / grep -E:擴展正則(ERE),支援 + ? () | 等元字符無需轉義
  • fgrep / grep -F:固定字串匹配,最快,不支援正則

核心選項組合

# 基礎搜尋
grep "pattern" file

# 顏色高亮 + 行號 + 檔名
grep -H -n --color "pattern" file

# 上下文:前 2 行、後 3 行
grep -B 2 -A 3 "pattern" file

# 反向匹配(不包含)
grep -v "pattern" file

# 遞迴搜尋目錄
grep -r "pattern" /etc/

# 統計匹配行數
grep -c "pattern" file

# 僅輸出匹配部分
grep -o "pattern" file

實戰:從 man page 建立搜尋語料庫

man grep | col -b > grephelp.txt
grep -H -n --color "find" grephelp.txt
# 輸出:grephelp.txt:252: To find all occurrences...

sed:流編輯器的精準手術刀

核心替換語法

# s/查找/替換/標誌
# g: 全域替換  i: 忽略大小寫  p: 列印匹配行  w file: 寫入檔案

# 基礎替換
sed 's/find/search/g' file

# 就地修改(高風險,建議備份)
sed -i.bak 's/find/search/g' file

# 擴展正則 + 捕獲組引用
sed -E 's/([0-9]+)/--\1--/g' file
# Mac/FreeBSD 用 -E,Linux 用 -r

進階 sed 技巧

# 多命令組合
sed -e 's/foo/bar/g' -e '/^$/d' file

# 行範圍操作:第 10-20 行刪除
sed '10,20d' file

# 模式範圍:從 /start/ 到 /end/ 刪除
sed '/start/,/end/d' file

# 在匹配行前/後插入
sed '/pattern/i\新增行' file
sed '/pattern/a\新增行' file

# 保留匹配行其餘刪除
sed -n '/pattern/p' file

uniq:去重統計專家

經典組合:sort | uniq

# 莎士比亞十四行詩去重實戰
cat -n sonnet116.txt
# 發現第 5/6 行重複,第 10-12 行三重複

# 僅顯示重複行
uniq -d sonnet116.txt

# 統計各行出現次數
uniq -c sonnet116.txt
# 2 O, no! it is an ever-fix`ed mark,
# 3 Love's not Time's fool...

# 真正去重(需先排序)
sort sonnet116.txt | uniq

sort:多維度排序大師

報表排序實戰

# 原始報表:月份,銷量
cat report.txt
March,19
June,50
February,17
May,18
August,16
April,31
May,18
July,26
January,24
August,16

# 字母序排序 + 去重
sort -u report.txt

# 月份順序排序(神奇的 -M)
sort -u -M report.txt
# January, February, March...

# 按第 2 欄數值排序(逗號分隔)
sort -u -t',' -k2 report.txt
# August,16 / February,17 / May,18...

# 逆序 + 數值排序
sort -u -r -t',' -k2 report.txt
# June,50 / April,31 / July,26...

sort 關鍵選項

選項功能
-u唯一輸出(去重)
-r逆序
-n數值排序
-M月份排序(Jan-Dec)
-t指定分隔符
-k指定排序鍵欄位
-h人類可讀數值(1K, 2M)
-V版本號排序

wc:文本統計儀表板

wc -c file  # 位元組數
wc -m file  # 字符數
wc -w file  # 單詞數
wc -l file  # 行數

# 組合實戰:統計去重後行數
uniq sonnet116.txt | wc -l
# 14 行(十四行詩標準)

進階武器:Awk 與 Perl

Awk:為文本處理而生

  • 記錄/欄位自動分割(FS/OFS)
  • 關聯陣列支援多維統計
  • 內建數學函數、字符串函數
  • 模式-動作範式:pattern { action }
# 經典單行腳本
awk -F: '{print $1, $3}' /etc/passwd           # 用戶名與 UID
awk '$3 > 1000' /etc/passwd                    # UID > 1000 的用戶
awk '{sum+=$1} END {print sum}' numbers.txt   # 求和
awk '!seen[$0]++' file                         # 保留順序去重

Perl:文本處理終極武器

  • 最強正則引擎(PCRE 起源)
  • 單行模式 perl -pe 's/foo/bar/g' file
  • 強大的單行腳本生態:perl -lane 'print $F[0]' file
  • CPAN 模組庫解決一切複雜解析需求

工具選型決策樹


需要處理文本?
├─ 單字符轉換/刪除/壓縮 → tr
├─ 行級查找/過濾 → grep
├─ 行級編輯/替換/插入/刪除 → sed
├─ 欄位提取/統計/報表/複雜邏輯 → awk
└─ 複雜解析/多行模式/結構化數據 → Perl/Python

最佳實踐原則

  1. 管道組合:善用 | 串聯專用工具,各司其職
  2. 預覽優先:破壞性操作前先 command file | head 驗證
  3. 編碼一致:LC_ALL=C 確保排序/比較行為一致
  4. 記錄腳本化:複雜操作寫成腳本,加入註釋與錯誤處理
copyright © 萬盛學電腦網 all rights reserved