校園網機房:銳捷 STAR-S1926G+ 交換機 + 清華同方超強 1450L 伺服器 (代理上網)。上網不久全網浏覽極慢,重啟無效、換機無效,代理伺服器鍵鼠無響應、開機卡死、Ghost 還原無效。最終發現交換機所有指示燈狂閃、網卡燈狂閃,關閉交換機電源重啟後瞬間恢復。根因:**交換機內部緩衝區資料阻塞 (Head-of-Line Blocking / 廣播風暴/環路/異常流量) 導致控制平面/管理平面饑餓,進而拖垮連接其上的代理伺服器**。
| 階段 | 現象 | 初步判斷 | 關鍵轉折點 |
|---|---|---|---|
| 發生 | 全網瀏覽極慢,Ping 正常但 HTTP 逾時 | 代理伺服器效能/軟體問題 | — |
| 排查 1 | 代理伺服器死機、重啟卡在載入介面 | OS 崩潰/硬體故障 | Ghost 還原無效 → 排除軟體層面 |
| 排查 2 | 機箱後板網卡燈狂閃、交換機所有埠燈同步狂閃 | 網路層面異常流量/阻塞 | **關鍵觀測:將目光從單節點擴展至整條鏈路** |
| 處置 | 關閉交換機電源 10 秒 → 重啟 → 伺服器正常啟動、上網恢復 | 交換機緩衝區/轉發引擎死鎖/資源耗盡 | 電源循環重置硬體狀態機,釋放緩衝區 |
show processes cpu、show memory、show interfaces counters errors、show logging、show spanning-tree、show mac address-table。| 層面 | 措施 | 關鍵指令/功能 |
|---|---|---|
| 流量抑制 | 廣播/組播/未知單播風暴抑制 | storm-control broadcast level 1.00、multicast level 1.00、unicast level 1.00 (百分比或 pps/kbps) |
| 環路防護 | STP/RSTP/MSTP + BPDU Guard + Loop Guard + Root Guard | spanning-tree portfast bpduguard default、loopback-detection (廠商專有) |
| DHCP/ARP 安全 | DHCP Snooping + DAI + IPSG | 參考 ID 153185 完整配置 |
| CPU/控制平面保護 | CoPP / CPP / Control Plane Policing | 分類管理流量 (SSH/SNMP/BGP/OSPF/ARP/ICMP) → 限速/優先級 |
| QoS 保障管理流量 | 管理平面流量進高優先隊列 | priority-queue out、DSCP 48/56 (CS6/CS7) 標記 |
| 緩衝區調優 | 根據業務調整 Queue 緩衝分配 | queue-set、priority-queue、wrr-queue buffers |
| 監控告警 | CPU>80%、緩衝區>80%、錯誤包率>阈值、埠錯誤禁用 | SNMP Trap、Syslog、Telemetry (gNMI/NETCONF) 推送至 NMS |
| 定期維護 | 錯誤計數器清零基線、韌體升級、配置備份、演練 | 月度/季度巡檢 SOP |
此案例揭示了「單點故障排查」的巨大盲區:當網路設備成為瓶頸時,所有掛載其上的終端/伺服器都會表現出「軟體/OS 故障」假象。**網路工程師必須具備「全鏈路視野」,在排查終端故障時同步觀察網路設備指示燈、錯誤計數器、CPU/記憶體、流量圖譜**。交換機資料阻塞雖為硬體/軟體缺陷或異常流量觸發,但透過風暴抑制、環路防護、DHCP/ARP 安全、CoPP、QoS 管理流量保障、緩衝區調優、全維度監控的纵深防禦,可將風險壓縮至可接受水平。**永遠記住:網路是所有業務的血管,血管堵塞,全身癱瘓。**