awk 運作模型
逐行讀入 → 依 FS 切割欄位 $1..$n → 執行 pattern-action → 輸出依 OFS 分隔、ORS 換行。
核心內建變數速查表
| 變數 | 說明 | 預設值 | 常用場景 |
$0 | 整行記錄 | — | 列印完整行、正則比對整行 |
$1..$n | 第 n 欄位 | — | 提取特定欄位 |
FS | 輸入欄位分隔符 (正則) | [ \t]+ | BEGIN{FS=":"} 處理 /etc/passwd |
OFS | 輸出欄位分隔符 | | OFS="," 輸出 CSV |
RS | 輸入記錄分隔符 | \n | RS="" 段落模式 (空白行分隔) |
ORS | 輸出記錄分隔符 | \n | ORS=";" 單行輸出 |
NF | 當前記錄欄位數 | — | NF>3 過濾欄位足夠的行 |
NR | 已讀記錄總數 (行號) | — | 顯示行號、限制處理行數 |
FNR | 當前檔案記錄數 | — | 多檔案處理時重置計數 |
FILENAME | 當前輸入檔名 | — | 多檔案處理知曉來源 |
ARGC | 命令列參數個數 | — | 檢查參數 |
ARGV | 命令列參數陣列 | — | 動態修改輸入檔案清單 |
ENVIRON | 環境變數關聯陣列 | — | ENVIRON["HOME"] 取得環境變數 |
IGNORECASE | 忽略大小寫比對 | 0 | IGNORECASE=1 |
CONVFMT | 數字轉字串格式 | %.6g | 控制數值輸出精度 |
OFMT | 輸出數字格式 (舊) | %.6g | 同 CONVFMT,建議用 CONVFMT |
FIELDWIDTHS | 固定寬度欄位定義 | — | 解析固定寬度格式 (如日誌、匯出檔) |
RSTART | match() 比對起始位置 | — | 配合 RLENGTH 擷取子字串 |
RLENGTH | match() 比對長度 | — | 同上 |
SUBSEP | 多維陣列索引分隔符 | \034 | 模擬二維陣列 arr[i,j] |
實戰範例
1. 處理 /etc/passwd (冒號分隔)
awk -F: '{print $1, $NF}' /etc/passwd
# 等同
awk 'BEGIN{FS=":"} {print $1, $NF}' /etc/passwd
2. 輸出 CSV 格式
awk 'BEGIN{FS=":"; OFS=","} {print $1, $3, $6}' /etc/passwd
# root,0,/root
# daemon,1,/usr/sbin
3. 顯示行號與總行數
awk '{print NR ": " $0}' file.txt
END {print "Total lines: " NR}' file.txt
4. 多檔案處理區分來源
awk '{print FILENAME ": " NR " -> " $0}' file1.txt file2.txt
5. 固定寬度欄位解析 (日期時間)
echo "20240115143045" | awk 'BEGIN{FIELDWIDTHS="4 2 2 2 2 2"} {print $1"-"$2"-"$3" "$4":"$5":"$6}'
# 2024-01-15 14:30:45
6. 環境變數應用
awk 'BEGIN{print "Home: " ENVIRON["HOME"]; print "Path: " ENVIRON["PATH"]}'
7. match() 擷取正則捕獲組
awk 'BEGIN{s="error 404 not found"; if(match(s, /error ([0-9]+)/)) print "Code at " RSTART " len " RLENGTH ": " substr(s, RSTART, RLENGTH)}'
# Code at 7 len 4: error 404
8. 多維陣列模擬
awk 'BEGIN{
arr["user,alice"]="admin"
arr["user,bob"]="guest"
split("alice,bob", users, ",")
for(u in users) print users[u] " -> " arr["user," users[u]]
}'
進階控制流程
# BEGIN: 處理前初始化
# END: 處理後收尾
# pattern {action}: pattern 為真執行 action
# /regex/ {action}: 正則比對
# $3 > 100 {action}: 條件比對
# {action}: 無 pattern,每行皆執行
效能提示
- 大檔案優先用
FS 切割,避免在 action 中 split()
- 只需特定欄位時,
NF 檢查避免索引越界
ENVIRON 載入所有環境變數,大量使用時考慮 BEGIN{home=ENVIRON["HOME"]} 快取
- 固定寬度格式用
FIELDWIDTHS 比 substr() 快
單行腳本速查
| 需求 | 單行指令 |
| 印出第 3 欄 | awk '{print $3}' |
| 印出最後一欄 | awk '{print $NF}' |
| 印出倒數第二欄 | awk '{print $(NF-1)}' |
| 欄位數 > 5 的行 | awk 'NF>5' |
| 含 "error" 的行 | awk '/error/' |
| 第 1 欄為 "root" 的行 | awk -F: '$1=="root"' |
| 計算第 2 欄總和 | awk '{sum+=$2} END{print sum}' |
| 去除重複行 (依整行) | awk '!seen[$0]++' |
| 去除重複行 (依第 1 欄) | awk '!seen[$1]++' |