維護管理核心原則
- 預防性維護 > 故障響應:定期巡檢消除隱患,成本遠低於故障損失
- 標準化流程 > 個人經驗:SOP 文檔化、變更管理、知識庫沉澱
- 自動化監控 > 人工巡檢:7×24 監控覆蓋、告警分級、自愈腳本
- 文檔資產化 > 頭腦記憶:拓撲圖、IP 規劃、配置備份、密碼庫、應急預案
設備選型:易管理性優先
| 特性 | 重要性 | 驗證方法 |
| Web GUI / HTTPS 管理 | ★★★★★ | 演示環境操作、API 文檔完整性 |
| CLI 腳本化支持 | ★★★★☆ | Ansible/Netmiko/NAPALM 適配度 |
| SNMP/Telemetry/NetFlow | ★★★★★ | MIB 支持、流量可視化、異常檢測 |
| Auto-MDI/MDIX | ★★★☆☆ | 免去交叉線/直通線困擾 |
| 堆疊/虛擬化 (VSS/VCF/MLAG) | ★★★★☆ | 單點管理、橫向擴展 |
| 配置備份/回滾/版本控制 | ★★★★★ | 一鍵備份、差異對比、一鍵回滾 |
| 故障定位:日志/告警/端口鏡像 | ★★★★★ | Syslog 級別、硬件健康監控、ERSPAN |
日常維護 SOP (標準作業程序)
每日巡檢 (自動化腳本 + 人工複核)
# 關鍵指標
1. 設備在線率 (Ping/SNMP/ICMP)
2. CPU/內存/溫度/風扇/電源 模塊狀態
3. 關鍵鏈路帶寬利用率、錯誤包率、丟包率
4. 核心業務連通性 (HTTP/DNS/DB/VPN)
5. 安全日志異常登錄/攻擊特徵
6. 備份任務完成狀態
每週深度巡檢
1. 配置備份完整性校驗 (對比運行配置 vs 備份配置)
2. 固件版本掃描 (CVE 漏洞匹配)
3. SSL 證書有效期檢查 (30 天預警)
4. 許可證/授權到期檢查
5. 容量規劃: 接口利用率趨勢、存儲增長預測
6. 日志歸檔完整性驗證
月度/季度專項維護
1. 固件升級窗口 (變更流程: 評估→測試→預發布→生產→驗證→回滾預案)
2. 密碼輪換 (設備管理、SNMP Community、API Token、RADIUS 共享密鑰)
3. 災難恢復演練 (配置恢復、冷備熱備切換、業務驗證)
4. 網絡架構優化 (VLAN 劃分、路由聚合、QoS 調優、安全區域劃分)
5. 供應商安全公告訂閱與評估
配置管理最佳實踐
備份策略 3-2-1 原則
- 3 份副本:運行配置、本地備份、異地備份
- 2 種介質:磁盤 + 磁帶/對象存儲/Git
- 1 份離線:不可變備份防勒索軟件
自動化備份腳本
#!/bin/bash
# backup_network_devices.sh
DEVICES_FILE="/etc/network/devices.csv" # IP,Vendor,User,Pass,Enable_Pass
BACKUP_DIR="/backup/network/$(date +%Y%m)"
mkdir -p "$BACKUP_DIR"
while IFS=',' read -r ip vendor user pass en_pass; do
[[ "$ip" =~ ^#.*$ ]] && continue
case $vendor in
cisco)
expect -c "
spawn ssh -o StrictHostKeyChecking=no $user@$ip
expect \"Password:\" { send \"$pass\r\" }
expect \">\" { send \"en\r\" }
expect \"Password:\" { send \"$en_pass\r\" }
expect \"#\" { send \"term len 0\r\" }
expect \"#\" { send \"show run\r\" }
expect \"#\" { send \"exit\r\" }
" | sed '1,3d' | head -n -1 > "$BACKUP_DIR/${ip}_$(date +%Y%m%d).cfg"
;;
h3c|huawei)
# 類似 expect 腳本
;;
esac
done < "$DEVICES_FILE"
# Git 版本控制
cd /backup/network && git add . && git commit -m "Auto backup $(date +%F)" && git push origin main
故障定位利器:日志分析
Syslog 服務器部署
# 設備端配置
logging host 10.0.0.100 transport tcp port 6514
logging trap notifications
logging source-interface Loopback0
logging facility local7
# 服務端 rsyslog.conf
$template NetworkDevices,"/var/log/network/%HOSTNAME%/%$YEAR%/%$MONTH%/%$DAY%.log"
local7.* ?NetworkDevices
關鍵日志模式匹配
# 接口頻繁 Up/Down
%LINK-3-UPDOWN|%LINEPROTO-5-UPDOWN
# 錯誤包/CRC 錯誤
%CRC|%INPUT_ERROR|%OUTPUT_ERROR
# 安全違規
%SECURITY-6-IPACCESSLOG|%PORT_SECURITY-2-PSECURE_VIOLATION
# 路由波動
%OSPF-5-ADJCHG|%BGP-5-ADJCHANGE|%DUAL-5-NBRCHANGE
變更管理流程
1. 提交變更單 (CR): 業務驗證、風險評估、回滾方案、時間窗口
2. 變更諮詢委員會 (CAB) 審批
3. 預發布環境驗證 (如有)
4. 生產窗口執行:
- 會話記錄 (script/asciinema)
- 關鍵步驟截圖
- 實時監控儀表板
5. 變更後驗證: 功能測試、性能基線對比、日志無報錯
6. 關閉變更單: 記錄實際影響、經驗教訓、更新文檔/CMDB
知識庫建設
- Wiki/Confluence:拓撲圖、IP 分配表、VLAN 規劃、設備清單、密碼庫 (加密)
- 故障案例庫:現象→根因→解決→預防措施 (KCS 方法論)
- 腳本庫:Git 管理、參數化、單元測試、文檔化
- 廠商知識庫:TAC Case 記錄、Bug Search Tool 使用技巧
工具鏈推薦
| 類別 | 工具 | 用途 |
| 配置管理 | Oxidized, RANCID, NetBox, Ansible Network | 自動備份、合規檢查、配置推送 |
| 監控告警 | Zabbix, Prometheus+Grafana, LibreNMS, Observium | 設備健康、流量、接口、環境監控 |
| IPAM/DCIM | NetBox, phpIPAM, Infoblox, Nautobot | IP規劃、機架位置、設備資產 |
| 自動化 | Ansible, Nornir, NAPALM, Netmiko, Scrapli | 批量配置、合規檢查、網絡即代碼 |
| 協議分析 | Wireshark, tcpdump, ntopng, Arkime | 深度抓包、流量取證 |