萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux AWK 入門到精通:文本處理利器完整教程

AWK 核心概念

  • 逐行處理: 讀取一行 → 分割字段 → 執行模式/動作 → 輸出
  • 字段分隔符 (FS): 默認空白字符 (空格/Tab),可用 `-F` 指定
  • 內置變量: `$0`(整行) `$1-$n`(字段) `NR`(行號) `NF`(字段數) `FILENAME` `FS` `OFS` `ORS` `RS`
  • 三大版本: `awk` (AT&T)、`nawk` (New)、`gawk` (GNU, **Linux 默認**,功能最全)

調用方式

# 1. 命令行單行腳本
awk -F: '{print $1, $3}' /etc/passwd

# 2. 腳本文件
awk -f script.awk input.txt
# script.awk 內容:
# BEGIN { FS=":"; print "UID\tUSER" }
# $3 < 1000 { print $3 "\t" $1 }
# END { print "Total: " NR }

# 3. 可執行腳本 (shebang)
#!/usr/bin/awk -f
BEGIN { ... }
{ ... }
END { ... }

核心語法結構

awk 'BEGIN { 初始化 } 模式 { 動作 } ... END { 收尾 }' 文件
# 模式可為:正則 /regex/、關係表達式 $3>1000、范圍 /start/,/end/、BEGIN/END
# 動作為 C 風格語句,支持變量、數組、函數、控制流

經典實戰案例

1. 提取 /etc/passwd 用戶名與 Shell

awk -F: '{print $1 "\t" $7}' /etc/passwd
# 輸出: root    /bin/bash

2. 統計 Nginx 訪問日志 Top 10 IP

awk '{ip[$1]++} END {for (i in ip) print ip[i], i}' access.log | sort -rn | head -10
# 解析: $1 為 IP,累加計數,END 遍歷輸出,sort 降序,head 取前 10

3. 計算每列總和/平均值

# 數據文件 data.txt:  10 20 30
#                    5  15 25
awk '{for(i=1;i<=NF;i++) sum[i]+=$i} END {for(i=1;i<=NF;i++) printf "Col%d: sum=%.2f avg=%.2f\n", i, sum[i], sum[i]/NR}' data.txt

4. 多文件去重/差集/交集

# 交集 (兩文件都存在的行)
awk 'NR==FNR{a[$0]; next} $0 in a' file1 file2

# 差集 (file1 有 file2 無)
awk 'NR==FNR{a[$0]; next} !($0 in a)' file1 file2

# 去重 (保留首次出現順序)
awk '!seen[$0]++' file.txt

5. 處理 CSV (含引號逗號)

# 簡單 CSV 無引號逗號
awk -F, '{print $2}' data.csv

# 複雜 CSV 需用 FPAT (gawk 4.0+) 或專用工具 (csvkit, miller)
awk -v FPAT='([^,]*)|("[^"]+")' '{print $2}' data.csv

6. 系統信息提取

# 獲取 IP (兼容 ip/ifconfig)
ip -o -4 addr show scope global | awk '{gsub(/\/.*/, "", $4); print $4}'
# 或
ifconfig eth0 | awk '/inet / {gsub(/addr:/, "", $2); print $2}'

# 磁盤使用率告警
df -h | awk 'NR>1 && $5+0 > 80 {print $6 " 分區使用率 " $5}'

進階特性 (gawk 專有)

  • 多維數組: `arr[i][j] = val` (模擬二維)
  • 正則捕獲組: `match($0, /(foo)(bar)/, arr)` → `arr[1]="foo"`, `arr[2]="bar"`
  • 網絡 I/O: `|&` 雙向管道、`/inet/tcp/0/host/port`
  • 動態擴展: `@load "lib"` 載入共享庫
  • PROCINFO["sorted_in"] = "@ind_num_asc": 控制數組遍歷順序

性能優化技巧

  1. 預編譯正則: 在 `BEGIN` 中編譯 `regex = /pattern/` 而非每行 `/pattern/`。
  2. 避免在循環中調用外部命令: `system("cmd")` 極慢,改用內置函數或管道。
  3. 字段分隔符用單字符: 多字符 FS 性能較差。
  4. 大文件並行: `split -l 100000 big.txt part_` → 並行 `awk` → 合併結果。

AWK vs Sed vs Grep vs Cut

工具核心能力適用場景
grep模式匹配查找行過濾日誌、搜索關鍵字
sed流編輯器 (行編輯、替換、刪除)文本替換、插入刪除行、提取范圍
cut按分隔符剪切列簡單列提取、無邏輯判斷
awk完整編程語言 (變量、數組、流控、數學、函數)報表生成、數據統計、複雜文本轉換、跨行處理

學習路徑建議

  1. 掌握單行腳本:`-F`、字段引用、`print/printf`、重定向
  2. 理解 `BEGIN/END`、內置變量、數組操作
  3. 練習 `if/else/for/while` 控制流、用戶自定義函數
  4. 實戰:日志分析報表、配置文件解析、CSV/JSON 簡易處理、系統巡檢腳本
  5. 進階:gawk 4+ 新特性 (FPAT、捕獲組、網絡、動態庫)
copyright © 萬盛學電腦網 all rights reserved