前言:故障排除的核心難點在「找到真因」
網管系統 (NMS) 能告警「效能下降」,卻不直接告訴你「根因是什麼」。資深與菜鳥的分水嶺,在於能否快速、有條理地從症狀回溯到根因。
建立個人化排除方法論
無論你習慣先 Ping、先看機櫃指示燈、先問用戶、先查 NMS,關鍵在於固定一套可重複、可驗證的流程。建議採用 「觀察 → 假設 → 驗證 → 修復 → 驗證修復 → 記錄」 六步循環。
第一階段:蒐集一手資訊(Observation)
- Ping/Traceroute:確認三層達達性、路徑、延遲、丟包。
- NMS 告警細節:觸發條件、持續時間、相關聯事件。
- 用戶回報:具體操作、時間點、錯誤訊息截圖、影響範圍(單機/部門/全網)。
- 現場目測:指示燈顏色/閃爍、纜線狀態、設備溫度、風扇轉動。
第二階段:形成假設
依據症狀列出 3~5 個可能原因,按「機率 × 影響度」排序。例如:
1. 核心交換器埠口錯誤計數器暴增(高機率、高影響)
2. 防火牆新規則誤攔截(中機率、高影響)
3. DNS 解析異常(高機率、中影響)
…
第三階段:快速驗證/排除
- 分層切分:物理 → 資料鏈路 → 網路 → 傳輸 → 應用,逐層排除。
- 二分法:在路徑中點測試,縮小故障域(如 Traceroute 第 3 跳正常、第 4 跳失敗 → 聚焦第 3~4 段)。
- 對照基線:對比正常時期的流量圖、CPU、記憶體、錯誤計數器。
- 最小變更:一次只改一個變數,觀察結果,避免引入新變因。
工具箱必備
| 層面 | 推薦工具 |
| 封包分析 | Wireshark, tcpdump, OmniPeek |
| 路徑追蹤 | traceroute, mtr, pathping |
| 網管平台 | SolarWinds, PRTG, Zabbix, LibreNMS |
| 配置審計 | Oxidized, RANCID, Ansible |
| 無線勘測 | Ekahau, NetSpot, inSSIDer |
| 光纖測試 | OTDR, 光功率計, 紅光筆 |
案例:從「網路慢」到「DNS 轉發迴圈」的完整推演
- 觀察:多用戶反映網頁慢、間歇失敗,Ping 外網 IP 正常。
- 假設:DNS 解析延遲、ISP 擁塞、Proxy 故障。
- 驗證:
nslookup 指定內部 DNS → 超時;指定 8.8.8.8 → 秒回。
- 深入:登入內部 DNS → 發現轉發迴圈(見 前文)。
- 修復:調整轉發目標 → 驗證恢復 → 記錄根因與預防措施。
專家心法
- 不預設立場:讓數據說話,避免「以為是 XXX」的確認偏誤。
- 記錄一切:時間、指令、輸出、判斷依據,事後複盤與知識沉澱的基石。
- 建立知識庫:故障單標籤化、根因分類、解決方案模板化,讓下次同類故障「複製貼上」解決。
- 主動預防:基線監控、自動化巡檢、定期演練,將「救火」轉為「防火」。
結語
故障排除專家不是靠直覺,而是靠結構化方法論、熟練工具鏈、持續沉澱的知識庫。從今天開始,為每次故障建立「觀察-假設-驗證」筆記,三個月後你會驚訝於自己的成長速度。