AWK 核心概念
- 逐行處理: 讀取一行 → 分割字段 → 執行模式/動作 → 輸出
- 字段分隔符 (FS): 默認空白字符 (空格/Tab),可用 `-F` 指定
- 內置變量: `$0`(整行) `$1-$n`(字段) `NR`(行號) `NF`(字段數) `FILENAME` `FS` `OFS` `ORS` `RS`
- 三大版本: `awk` (AT&T)、`nawk` (New)、`gawk` (GNU, **Linux 默認**,功能最全)
調用方式
# 1. 命令行單行腳本
awk -F: '{print $1, $3}' /etc/passwd
# 2. 腳本文件
awk -f script.awk input.txt
# script.awk 內容:
# BEGIN { FS=":"; print "UID\tUSER" }
# $3 < 1000 { print $3 "\t" $1 }
# END { print "Total: " NR }
# 3. 可執行腳本 (shebang)
#!/usr/bin/awk -f
BEGIN { ... }
{ ... }
END { ... }
核心語法結構
awk 'BEGIN { 初始化 } 模式 { 動作 } ... END { 收尾 }' 文件
# 模式可為:正則 /regex/、關係表達式 $3>1000、范圍 /start/,/end/、BEGIN/END
# 動作為 C 風格語句,支持變量、數組、函數、控制流
經典實戰案例
1. 提取 /etc/passwd 用戶名與 Shell
awk -F: '{print $1 "\t" $7}' /etc/passwd
# 輸出: root /bin/bash
2. 統計 Nginx 訪問日志 Top 10 IP
awk '{ip[$1]++} END {for (i in ip) print ip[i], i}' access.log | sort -rn | head -10
# 解析: $1 為 IP,累加計數,END 遍歷輸出,sort 降序,head 取前 10
3. 計算每列總和/平均值
# 數據文件 data.txt: 10 20 30
# 5 15 25
awk '{for(i=1;i<=NF;i++) sum[i]+=$i} END {for(i=1;i<=NF;i++) printf "Col%d: sum=%.2f avg=%.2f\n", i, sum[i], sum[i]/NR}' data.txt
4. 多文件去重/差集/交集
# 交集 (兩文件都存在的行)
awk 'NR==FNR{a[$0]; next} $0 in a' file1 file2
# 差集 (file1 有 file2 無)
awk 'NR==FNR{a[$0]; next} !($0 in a)' file1 file2
# 去重 (保留首次出現順序)
awk '!seen[$0]++' file.txt
5. 處理 CSV (含引號逗號)
# 簡單 CSV 無引號逗號
awk -F, '{print $2}' data.csv
# 複雜 CSV 需用 FPAT (gawk 4.0+) 或專用工具 (csvkit, miller)
awk -v FPAT='([^,]*)|("[^"]+")' '{print $2}' data.csv
6. 系統信息提取
# 獲取 IP (兼容 ip/ifconfig)
ip -o -4 addr show scope global | awk '{gsub(/\/.*/, "", $4); print $4}'
# 或
ifconfig eth0 | awk '/inet / {gsub(/addr:/, "", $2); print $2}'
# 磁盤使用率告警
df -h | awk 'NR>1 && $5+0 > 80 {print $6 " 分區使用率 " $5}'
進階特性 (gawk 專有)
- 多維數組: `arr[i][j] = val` (模擬二維)
- 正則捕獲組: `match($0, /(foo)(bar)/, arr)` → `arr[1]="foo"`, `arr[2]="bar"`
- 網絡 I/O: `|&` 雙向管道、`/inet/tcp/0/host/port`
- 動態擴展: `@load "lib"` 載入共享庫
- PROCINFO["sorted_in"] = "@ind_num_asc": 控制數組遍歷順序
性能優化技巧
- 預編譯正則: 在 `BEGIN` 中編譯 `regex = /pattern/` 而非每行 `/pattern/`。
- 避免在循環中調用外部命令: `system("cmd")` 極慢,改用內置函數或管道。
- 字段分隔符用單字符: 多字符 FS 性能較差。
- 大文件並行: `split -l 100000 big.txt part_` → 並行 `awk` → 合併結果。
AWK vs Sed vs Grep vs Cut
| 工具 | 核心能力 | 適用場景 |
| grep | 模式匹配查找行 | 過濾日誌、搜索關鍵字 |
| sed | 流編輯器 (行編輯、替換、刪除) | 文本替換、插入刪除行、提取范圍 |
| cut | 按分隔符剪切列 | 簡單列提取、無邏輯判斷 |
| awk | 完整編程語言 (變量、數組、流控、數學、函數) | 報表生成、數據統計、複雜文本轉換、跨行處理 |
學習路徑建議
- 掌握單行腳本:`-F`、字段引用、`print/printf`、重定向
- 理解 `BEGIN/END`、內置變量、數組操作
- 練習 `if/else/for/while` 控制流、用戶自定義函數
- 實戰:日志分析報表、配置文件解析、CSV/JSON 簡易處理、系統巡檢腳本
- 進階:gawk 4+ 新特性 (FPAT、捕獲組、網絡、動態庫)