某百貨局域網發生嚴重間歇性通訊中斷,客戶機 Ping 丟包率極高,POS 機收款業務幾乎癱瘓。本文完整記錄從現象觀測、假設驗證、抓包分析、二分法定位到最終確認環路根因的完整排障鏈路。
一、 故障現象與初步判斷
- 現象: 全網間歇性中斷,主機房客戶機 Ping 核心交換機管理 IP 丟包,樓層交換機通訊更嚴重。
- 初步假設: ARP 表異常、廣播風暴、路由震蕩、病毒/攻擊流量。
- 需採集數據: ARP 表、交換機負載、全流量抓包。
二、 關鍵突破:旁路抓包發現異常流量模式
因核心交換機 CPU 高負載導致 CLI 操作超時,無法直接讀取負載數據。採取旁路接入筆記本,對核心交換機一上聯端口進行抓包(未配置鏡像,僅見入向流量)。
- 流量強度: 平均 8,000 pps,峰值 14,000 pps。換算背板吞吐量超 336k pps,極大佔用 CPU。
- 封包特徵: 均為廣播幀(ARP、SMB、NetBIOS Name SVC),長度均 < 255 Bytes,總吞吐量小,傳統流量監控易忽略。
- 源頭特徵: 某時段單一主機佔比超 50%,初步懷疑該主機中毒/中蠕蟲瘋狂發包。
三、 深度解碼:IPID 重複揭示「被動轉發」本質
對 NetBIOS Name SVC (UDP) 封包深度分析發現:IP Identification (IPID) 欄位大量重複。正常主動發送時 IPID 應遞增,重複意味著這些封包非主機主動發送,而是被交換機反復轉發。
驗證實驗: 讓某主機每 3 秒向不存在 IP 發送請求(觸發 ARP 廣播),抓包發現 1 秒內產生 7,991 次反復轉發。確診:二層環路導致廣播風暴。
四、 環路成因與 STP 缺失
當兩台交換機間存在雙鏈路且未啟用 STP (Spanning Tree Protocol) 時,交換機無法自檢環路,將廣播幀在兩條鏈路間無限循環轉發。啟用 STP 後,交換機通過 BPDU 協商阻斷冗餘鏈路,保證任意兩設備間僅有一條活躍路徑。
五、 二分法快速定位故障域
- 斷開東/西樓之間光纖鏈路 → 故障立即消失,確認環路在西樓、東樓或老樓內部。
- 恢復光纖,現場排查老樓 → 18:45 故障自行消失(疑似人為拔線或設備自動錯誤禁用端口),鎖定老樓局部區域。
六、 遺留隱患與建議
- 全網啟用 STP/RSTP/MSTP: 核心配置 Root Bridge、Bridge Priority,接入端口配置 PortFast + BPDU Guard。
- 部署環路檢測: 支持 Loop Detection/Loopback Detection 的設備務必開啟。
- 廣播抑制: 接入端口配置 Storm Control (Broadcast/Multicast/Unicast 閾值)。
- 網絡基線與流量可視化: 部署 NetFlow/sFlow 分析平台,建立廣播流量基線,異常即時告警。
- 終端安全: 發現內網掃描、蠕蟲跡象,需配合 NAC/EDR 進行終端清理與準入控制。
本案例再次證明:二層環路是局域網「隱形殺手」,STP 不是可選項,而是生存底線。 缺乏拓撲管理、變更不審批、STP 未全網部署,是環路頻發的三大制度性根因。