正則表達式:文本處理的通用鑰匙
正則表達式(Regular Expression)本質是「有規律、有模式的字符串描述語言」。掌握少量元字符即可解決 90% 文本匹配需求:
| 元字符 | 含義 | 範例 |
. | 任意單字符 | a.c 匹配 abc, axc |
* | 前字符 0+ 次 | ab*c 匹配 ac, abc, abbc |
+ | 前字符 1+ 次 | ab+c 匹配 abc, abbc |
? | 前字符 0/1 次 | ab?c 匹配 ac, abc |
^ | 行首 | ^root 匹配以 root 開頭的行 |
$ | 行尾 | bash$ 匹配以 bash 結尾的行 |
[] | 字符集合 | [aeiou] 匹配任一元音 |
[^] | 排除字符集 | [^0-9] 非數字 |
() | 捕獲分組 | (\d{3})-(\d{4}) |
| | 或邏輯 | cat|dog |
\1..\9 | 反向引用 | (\w+)\s+\1 匹配重複單詞 |
grep 族群:文本檢索利器
三大變體
- grep:基本正則(BRE),最通用
- egrep / grep -E:擴展正則(ERE),支援 + ? () | 等元字符無需轉義
- fgrep / grep -F:固定字串匹配,最快,不支援正則
核心選項組合
# 基礎搜尋
grep "pattern" file
# 顏色高亮 + 行號 + 檔名
grep -H -n --color "pattern" file
# 上下文:前 2 行、後 3 行
grep -B 2 -A 3 "pattern" file
# 反向匹配(不包含)
grep -v "pattern" file
# 遞迴搜尋目錄
grep -r "pattern" /etc/
# 統計匹配行數
grep -c "pattern" file
# 僅輸出匹配部分
grep -o "pattern" file
實戰:從 man page 建立搜尋語料庫
man grep | col -b > grephelp.txt
grep -H -n --color "find" grephelp.txt
# 輸出:grephelp.txt:252: To find all occurrences...
sed:流編輯器的精準手術刀
核心替換語法
# s/查找/替換/標誌
# g: 全域替換 i: 忽略大小寫 p: 列印匹配行 w file: 寫入檔案
# 基礎替換
sed 's/find/search/g' file
# 就地修改(高風險,建議備份)
sed -i.bak 's/find/search/g' file
# 擴展正則 + 捕獲組引用
sed -E 's/([0-9]+)/--\1--/g' file
# Mac/FreeBSD 用 -E,Linux 用 -r
進階 sed 技巧
# 多命令組合
sed -e 's/foo/bar/g' -e '/^$/d' file
# 行範圍操作:第 10-20 行刪除
sed '10,20d' file
# 模式範圍:從 /start/ 到 /end/ 刪除
sed '/start/,/end/d' file
# 在匹配行前/後插入
sed '/pattern/i\新增行' file
sed '/pattern/a\新增行' file
# 保留匹配行其餘刪除
sed -n '/pattern/p' file
uniq:去重統計專家
經典組合:sort | uniq
# 莎士比亞十四行詩去重實戰
cat -n sonnet116.txt
# 發現第 5/6 行重複,第 10-12 行三重複
# 僅顯示重複行
uniq -d sonnet116.txt
# 統計各行出現次數
uniq -c sonnet116.txt
# 2 O, no! it is an ever-fix`ed mark,
# 3 Love's not Time's fool...
# 真正去重(需先排序)
sort sonnet116.txt | uniq
sort:多維度排序大師
報表排序實戰
# 原始報表:月份,銷量
cat report.txt
March,19
June,50
February,17
May,18
August,16
April,31
May,18
July,26
January,24
August,16
# 字母序排序 + 去重
sort -u report.txt
# 月份順序排序(神奇的 -M)
sort -u -M report.txt
# January, February, March...
# 按第 2 欄數值排序(逗號分隔)
sort -u -t',' -k2 report.txt
# August,16 / February,17 / May,18...
# 逆序 + 數值排序
sort -u -r -t',' -k2 report.txt
# June,50 / April,31 / July,26...
sort 關鍵選項
| 選項 | 功能 |
-u | 唯一輸出(去重) |
-r | 逆序 |
-n | 數值排序 |
-M | 月份排序(Jan-Dec) |
-t | 指定分隔符 |
-k | 指定排序鍵欄位 |
-h | 人類可讀數值(1K, 2M) |
-V | 版本號排序 |
wc:文本統計儀表板
wc -c file # 位元組數
wc -m file # 字符數
wc -w file # 單詞數
wc -l file # 行數
# 組合實戰:統計去重後行數
uniq sonnet116.txt | wc -l
# 14 行(十四行詩標準)
進階武器:Awk 與 Perl
Awk:為文本處理而生
- 記錄/欄位自動分割(
FS/OFS)
- 關聯陣列支援多維統計
- 內建數學函數、字符串函數
- 模式-動作範式:
pattern { action }
# 經典單行腳本
awk -F: '{print $1, $3}' /etc/passwd # 用戶名與 UID
awk '$3 > 1000' /etc/passwd # UID > 1000 的用戶
awk '{sum+=$1} END {print sum}' numbers.txt # 求和
awk '!seen[$0]++' file # 保留順序去重
Perl:文本處理終極武器
- 最強正則引擎(PCRE 起源)
- 單行模式
perl -pe 's/foo/bar/g' file
- 強大的單行腳本生態:
perl -lane 'print $F[0]' file
- CPAN 模組庫解決一切複雜解析需求
工具選型決策樹
需要處理文本?
├─ 單字符轉換/刪除/壓縮 → tr
├─ 行級查找/過濾 → grep
├─ 行級編輯/替換/插入/刪除 → sed
├─ 欄位提取/統計/報表/複雜邏輯 → awk
└─ 複雜解析/多行模式/結構化數據 → Perl/Python
最佳實踐原則
- 管道組合:善用
| 串聯專用工具,各司其職
- 預覽優先:破壞性操作前先
command file | head 驗證
- 編碼一致:
LC_ALL=C 確保排序/比較行為一致
- 記錄腳本化:複雜操作寫成腳本,加入註釋與錯誤處理