前言:結構化排障方法論
網絡故障成因萬變不離其宗:**物理層 → 數據鏈路層 → 網絡層 → 傳輸層 → 應用層**。本文提煉十大高頻故障場景,提供「現象→疑點→工具→驗證→根因→預防」標準化診斷模板,助力運維從「靠經驗猜」轉向「按流程查」。
故障一:物理層濫用者 —— 單工位間歇性掉線
| 環節 | 內容 |
| 現象 | 單工位無法登錄/時斷時續,原先正常,他工位無影響 |
| 核心嫌疑 | 跳線/水晶頭/網卡/駱駝線過長/頻繁移動筆記本導致斷點 |
| 驗證工具鏈 | 線纜測試儀(線序/斷點/長度) → 筆記本直連交換機驗證網段健康度 → 交換機端口錯誤計數器(CRC/碰撞/巨幀/符號錯誤) |
| 關鍵動作 | UTP 環境:連續運行線纜測試儀 + 扭動線纜觀察接觸不良;同軸環境:檢查 T 型頭與網卡間斷頭 |
| 解決 | 更換跳線/水晶頭/網卡/停用水平子系統故障段 |
| 預防 | 佈線規格化、標籤管理、端口安全綁定 MAC、定期巡檢錯誤計數器 |
故障二:快速以太網升級後反而不通 —— 線纜規格陷阱
| 環節 | 內容 |
| 現象 | 10M 正常,升級 100M 後不通/極慢,影響新/升級工位 |
| 核心嫌疑 | Cat5 非屏蔽雙絞線近端串擾 (NEXT) 超標,10M 容忍、100M 失效 |
| 驗證標準 | EIA/TIA-TSB67 Cat5 鏈路測試標準(衰減、NEXT、回波損耗、傳播延遲) |
| 工具 | 合格線纜認證儀(Fluke DSP-4000/DSX-5000 等) |
| 解決 | 更換超標鏈路為 Cat5e/6,全鏈路重新認證 |
| 預防 | 新建/改造強制 Cat6/6A,交付時全鏈路認證報告歸檔 |
故障三:無效看門狗 —— Novell NetWare 遠程服務器掉線
| 環節 | 內容 |
| 現象 | 本網段所有工作站無法連接遠端 NetWare 服務器 |
| 核心機制 | 看門狗機制:服務器定期發送 "Hello" 幀,客戶機未在超時內響應則註銷會話 |
| 根因 | 鏈路擁塞/碰撞/錯誤幀導致 Hello 幀延遲/丟失,觸發誤判斷 |
| 驗證 | 網段健康度(利用率/碰撞/錯誤幀/廣播風暴) → 遠端網段同測 → 路由器 SNMP 路由表/擁塞狀態 |
| 解決 | 調大服務器看門狗超時參數;根治:消除擁塞源、優化拓撲、QoS 保障控制流量 |
故障四:菊花鏈效應 —— 級聯集線器導致錯誤幀風暴
| 環節 | 內容 |
| 現象 | 整個以太網段服務變慢,大量錯誤幀(10M: 晚發碰撞;100M: FCS 錯誤) |
| 根因 | 新增集線器級聯超標:10M 最多 4 級中繼器,100M 最多 2 級(含交換機端口) |
| 驗證 | 統計任意兩設備間中繼器數量,超標即為根因 |
| 解決 | 重構拓撲:核心交換機下聯接入交換機,消除級聯;光纖上聯突破距離限制 |
故障五:網管的報應 —— IP 地址衝突與配置漂移
| 環節 | 內容 |
| 現象 | 單工位間歇性錯誤,通常發生在增/移/改作業後 |
| 排查清單 | 賬號/權限 → 交叉驗證他機登錄 → 端到端鏈路測試 → 網卡硬件/驅動 → IP 配置(重複 IP/子網掩碼/網關/DNS) → 打印服務器 IP 衝突經典案例 |
| 工具 | IP 掃描器(Advanced IP Scanner)、ARP 表掃描、DHCP 租約審計 |
| 治理 | IPAM 系統、DHCP 保留/排除、靜態 IP 登記簿、變更管理流程 |
故障六:廣播風暴 —— 環路與異常流量
現象:全網緩慢、交換機 CPU 100%、指示燈狂閃。
定位:show processes cpu、show interfaces counters errors、Wireshark 抓包分析廣播源 MAC/IP。
根因:二層環路(STP 失效/未啟用)、異常廣播應用(NetBIOS、舊版發現協議)、病毒掃描風暴。
解決:強制啟用 STP/RSTP/MSTP + BPDU Guard + Root Guard + Loop Guard;端口隔離/私有 VLAN 限制廣播域;部署流量抑制 storm-control broadcast level 1.00。
預防:拓撲變更必走 MOP,STP 狀態納入日常巡檢。
故障七:DNS 解析失效 —— 「能上 QQ 不能開網頁」經典偽故障
- 現象:IM 正常、Web 失敗,Ping IP 通、Ping 域名失敗
- 根因:DNS 服務器不可達/配置錯誤/劫持/緩存中毒
- 驗證:
nslookup 域名 指定DNS、dig +trace、抓包分析 DNS 交互
- 解決:路由器/網卡手動指定可靠 DNS(ISP/114.114.114.114/8.8.8.8/1.1.1.1),DHCP 下發正確 DNS,清理本地緩存
ipconfig /flushdns
故障八:MTU/分片黑洞 —— 大包不通、小包正常
- 現象:Ping 小包正常,大包(>1472 bytes 不分片)失敗;HTTPS/VPN/郵件附件傳輸卡死
- 根因:路徑上存在 MTU < 1500 設備(VPN/GRE/IPsec/PPPoE),且 ICMP "Packet Too Big" 被防火牆封鎖,導致 PMTUD 失效
- 驗證:
ping -f -l 1472 目標(Windows)、ping -M do -s 1472 目標(Linux)
- 解決:啟用 TCP MSS Clamping(
ip tcp adjust-mss 1360)、允許 ICMPv4 Type 3 Code 4 / ICMPv6 Type 2 通過防火牆、統一鏈路 MTU 1500+
故障九:路由環路/震蕩 —— 控制平面不穩定
- 現象:Traceroute 循環、路由表閃爍、CPU 高、鏈路利用率異常
- 根因:重發布環路、聚合路由抖動、雙向轉發檢測 (BFD) 震蕩、OSPF/IS-IS 鄰居反復建立
- 定位:
show ip route 觀察下一跳跳躍、debug ip routing、協議專用調試
- 治理:路由策略防環(Tag/Route-map/AS-Path)、聚合路由抑制震蕩、BFD 參數調優、協議定時器優化
故障十:應用層性能劣化 —— 網絡無罪、應用有罪
- 現象:帶寬充足、延遲正常、丟包率低,但應用響應慢
- 定位:APM/抓包分析 TCP 重傳/亂序/零窗口/ Nagle 延遲/SSL 握手耗時/數據庫慢查詢
- 常見網絡相關因素:TCP 窗口縮放未啟用、選擇性確認 (SACK) 關閉、接收緩衝區過小、中間設備代理/壓縮/檢查導致延遲
- 協同排查:網絡組提供端到端延遲/抖動/丟包基線,應用組分析業務邏輯耗時,聯席會議定責
運維工具箱標準化配置
| 類別 | 推薦工具 | 核心能力 |
| 物理層 | Fluke DSX-8000/5000、紅光筆、光功率計、OTDR | 銅纜/光纜認證、斷點定位、光功率預算 |
| 數據鏈路 | Wireshark、交換機端口鏡像、Port Mirror、網絡分析儀 | 幀級分析、錯誤統計、協議解碼 |
| 網絡層 | Ping/Traceroute/MTR、Smokeping、Looking Glass、BGPmon | 連通性、路徑、延遲、路由狀態 |
| 傳輸/應用 | iperf3、netperf、curl/wget、tcpping、hping3 | 吞吐、延遲、連接建立、應用層語義 |
| 監控平台 | Zabbix/Prometheus+Grafana、LibreNMS、Observium、Kentik | 全棧指標採集、告警、可視化、基線 |
排障鐵律:先驗證物理層、再驗證邏輯層、最後驗證應用層。每個假設必須有可觀測證據支持,拒絕「感覺是...」。建立故障知識庫,將每次排障轉化為團隊資產,實現「同類故障二次不超 15 分鐘」。