萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux 系統級故障診斷神器 Sysdig 安裝與實戰:從系統調用捕獲到 Chisels 腳本分析

Sysdig 是開源的系統可觀測性工具,在內核層面捕獲系統調用、進程事件、文件 I/O、網絡活動,被譽為「系統級 tcpdump/Wireshark」。支援 Lua 編寫 Chisels 腳本擴展分析維度。本文覆蓋安裝、捕獲、過濾、Chisels 使用全流程。

安裝 (一鍵腳本自動適配发行版)

curl -s https://s3.amazonaws.com/download.draios.com/stable/install-sysdig | sudo bash

支持:RHEL/CentOS/Fedora (RPM)、Debian/Ubuntu (DEB)、Amazon Linux、內核模塊自動編譯 (DKMS)。

核心捕獲命令

命令用途
sysdig實時捕獲輸出到 stdout
sysdig -w trace.scap捕獲保存到文件 (二進制格式)
sysdig -n 200 -w trace.scap捕獲 200 個事件後停止
sysdig -r trace.scap讀取離線文件分析
sysdig -l列出所有可用字段/過濾器
sysdig -cl列出所有內置 Chisels

捕獲輸出字段解讀

evt.num  timestamp           cpu  proc.name (tid)  direction  evt.type  evt.args
1        10:54:50.462463956  0    sysdig (29043)   >          sysdigevent event_type=1 event_data=0
5        10:54:50.463206317  0    sysdig (29043)   >          switch    next=0 pgft_maj=0 pgft_min=1790 vm_size=35748 vm_rss=7164 vm_swap=0
  • evt.num:事件序號
  • timestamp:納秒級時間戳
  • cpu:CPU 編號
  • proc.name (tid):進程名與線程 ID
  • direction:> 進入事件 (系統調用入口)、< 退出事件 (返回)
  • evt.type:系統調用類型 (open, read, write, switch 等)
  • evt.args:參數鍵值對

強大過濾系統

字段類別 (sysdig -l 查看完整列表)

  • fd:文件描述符 (fd.num, fd.name, fd.type, fd.directory...)
  • proc:進程 (proc.name, proc.pid, proc.ppid, proc.exe, proc.args...)
  • evt:事件 (evt.type, evt.dir, evt.rawtime, evt.latency...)
  • user/group:用戶/組 (user.uid, user.name, group.gid...)
  • syslog:系統日誌字段

操作符

=  !=  <  <=  >  >=  contains  icontains  glob  pmatch  exists

布爾組合

and  or  not

實戰過濾範例

# 1. 只看 nginx 進程事件
sysdig -r trace.scap proc.name=nginx

# 2. nginx 且為 open 系統調用
sysdig -r trace.scap proc.name=nginx and evt.type=open

# 3. 讀取 /etc/passwd 的所有進程
sysdig -r trace.scap fd.name=/etc/passwd and evt.type=open

# 4. 耗時 > 1ms 的系統調用
sysdig -r trace.scap evt.latency>1000000

# 5. 特定用戶的網絡連接
sysdig -r trace.scap user.name=www-data and evt.type=connect

Chisels: 即開即用的分析腳本

sysdig -c <chisels名> [參數]

內置精選 Chisels

Chisel功能示例
topprocs_cpuCPU 佔用最高的進程sysdig -c topprocs_cpu
topprocs_file文件讀寫量最大的進程sysdig -c topprocs_file
topprocs_net網絡 I/O 最大的進程sysdig -c topprocs_net
fdcount_by按進程/容器統計文件描述符數sysdig -c fdcount_by proc.name
echo_fds打印文件讀寫數據內容sysdig -c echo_fds fd.name=/var/log/nginx/access.log
httplog解析 HTTP 請求/響應sysdig -c httplog
spy_users顯示用戶交互命令sysdig -c spy_users
list_login_shells列出登入 Shell 會話sysdig -c list_login_shells
shellshock_detect檢測 Shellshock 攻擊嘗試sysdig -c shellshock_detect

topprocs_file 實戰輸出

Bytes     Process
------------------------------
448.36KB  mozStorage
220.38KB  perl
1.69KB    tmux
1.62KB    sh
1.59KB    Xorg
1.30KB    urxvtd

自定義 Chisel 開發 (Lua)

# 1. 查看內置模板
cat /usr/share/sysdig/chisels/topprocs_file.lua

# 2. 創建自定義 chisel
cat > ~/my_chisel.lua <<'EOF'
description = "Top processes by read bytes"
short_description = "Top read"
category = "I/O"
args = {}

function on_init()
    chisel.set_filter("evt.type=read")
    fields = { "proc.name", "evt.arg.0" }  -- pid, bytes
end

function on_event()
    local proc = evt.field("proc.name")
    local bytes = evt.field("evt.arg.0")
    -- 聚合邏輯...
end
EOF

# 3. 運行
sysdig -c my_chisel

容器化環境支持

  • 自動識別 Docker/Kubernetes 容器元數據 (container.id, container.name, k8s.pod.name...)
  • sysdig -pc -c topprocs_cpu container.name=web (-pc 顯示容器上下文)
  • Kubernetes DaemonSet 部署:kubectl apply -f https://raw.githubusercontent.com/draios/sysdig-cloud-scripts/master/kubernetes/sysdig-daemonset.yaml

性能影響與生產建議

  • 內核模塊開銷 ~1-3% CPU,高頻 I/O 工作負載可感知
  • 生產環境**不建議長期全捕獲**,改用:
    sysdig -w /var/log/sysdig/%Y%m%d.scap -z -M 100 -C 10 (分卷壓縮輪轉)
  • 配合 falco (Sysdig 同源項目) 做運行時安全檢測:規則引擎 + 異常告警

總結

Sysdig 以內核級可見性解決「線上問題無法復現」痛點:捕獲 → 過濾 → Chisels 分析 三步閉環。掌握字段體系與過濾語法,配合內置 Chisels 可快速定位文件洩漏、CPU 尖峰、網絡風暴、異常進程行為。容器雲原生場景更是不可或缺的「X 光機」。

copyright © 萬盛學電腦網 all rights reserved