伺服器死機直接關乎業務連續性與資料安全，排查必須嚴謹、有據、可追溯。本文建立「軟體日誌分析 → 硬體模組替換驗證 → 壓力測試閉環」標準作業程序 (SOP)，適用於機房、雲端、邊緣運算等各類伺服器環境。

一、 軟體層面排查：日誌為證，拒絕主觀臆測

1. 系統日誌深度分析

• Windows：事件檢視器 → 系統/應用程式/硬體事件，篩選 Critical/Error，關注 Event ID：6008 (非預期關機)、41 (Kernel-Power)、1001 (BugCheck)、7/9/11/51/52 (磁碟/控制器錯誤)。
• Linux：journalctl -p err -b -1 (上次開機錯誤)、dmesg -T | grep -i -e panic -e oops -e error -e fail、/var/log/messages、/var/log/kern.log。重點檢視 Call Trace、RIP、Hardware Error、MCE (Machine Check Exception)。
• 硬體管理介面 (iDRAC/iLO/IPMI/Redfish)：查看 SEL (System Event Log) 硬體事件：溫度臨界值、風扇轉速異常、電源冗余失效、記憶體可校正/不可校正錯誤 (CE/UE)、CPU 內部錯誤、PCIe 修正錯誤。

2. 病毒/惡意程式/加密掛馬掃描

• 離線掃描模式（WinPE/Linux Live USB + ClamAV/商業引擎）。
• 檢查異常進程、網路連線、排程任務、啟動項、Rootkit (rkhunter/chkrootkit/Lynis)。

3. 系統/應用/驅動 Bug 與漏洞

• 確認作業系統、Hypervisor (ESXi/Hyper-V/KVM)、容器執行時、資料庫、中介軟體、備份軟體、監控 Agent 版本與已知 CVE/Errata 對照。
• 廠商支援門戶查詢知識庫 (KB)、勘誤表、建議修補程式。
• 若為軟體 Bug 導致，需協同廠商提供 Hotfix/Workaround/升級版本。

4. 系統負載與資源耗盡評估

• 持續監控：CPU 使用率、Load Average、記憶體可用量/交換區使用、磁碟 I/O 延遲/佇列長度、網路吞吐/錯誤封包、檔案控制代碼/執行緒數。
• 若資源長期飽和，建議：調度優化、擴容 (Scale-up/out)、啟用 QoS/資源配額、遷移非核心負載。

二、 硬體層面排查：模組化替換法，單一變量驗證

模組	常見故障模式	檢測工具/方法	驗證策略
電源模組 (PSU)	輸出電壓超標/紋波大/冗余失效/風扇故障	IPMI 讀取電壓/電流/功率；萬用表/示波器量測；冗余測試 (拔除單顆 PSU 觀察)	替換同規格 PSU；計算總負載 < 80% 額定功率
硬碟/SSD/RAID 陣列	壞軌/壞塊/控制器故障/RAID 降級/重建卡住	Smartctl / CrystalDiskInfo / MegaCLI / StorCLI / mdadm; 表面掃描	熱備援熱插拔更換；RAID 卡快取電池/超級電容檢查
記憶體 (DIMM)	UE/CE 錯誤/時序飄移/金手指氧化/虛焊	BIOS/UEFI 記憶體測試 / MemTest86 ECC 版 / IPMI 記憶體錯誤計數	單根/插槽交叉測試；替換同規格/同批次 DIMM
主板/晶片組/PCIe 橋接	總線掛掛/PCIe 連結降速/錯誤計數器遞增/南北橋過熱	IPMI SEL / lspci -vvv (LnkSta 錯誤計數) / 紅外熱像	最小系統法 (CPU+1DIMM+Boot裝置)；替換主板
CPU	核心錯誤/MCE/熱節流/微代碼 Bug/插座針腳彎折	MCE 日誌解碼 (mcelog/rasdaemon) / Intel IPS / AMD EDAC / 微代碼更新	微代碼更新 → 同步對稱多處理 (SMP) 測試 → 替換 CPU
擴充卡 (HBA/RAID/NIC/GPU/FPGA)	驅動衝突/固韌體 Bug/過熱/PCIe 連結錯誤/功耗超標	廠商診斷工具 / lspci / dmesg / 固韌體版本對照	更新固韌體/驅動 → 換槽測試 → 替換同型號卡

三、 關鍵驗證環節：壓力測試閉環

完成硬體更換/軟體修復後，必須執行持續壓力測試驗證穩定性，不可僅靠「目前沒死機」主觀判斷。

標準壓力測試套件與時長

• CPU/記憶體/核心穩定：Prime95 Blend / Small FFTs → 4-8 小時 (生產環境建議 24h)。
• 記憶體 ECC 完整性：MemTest86 Pro / MemTest86 Free (UEFI) → 4 完整輪次。
• 磁碟子系統：fio (Linux) / DiskSpd (Windows) → 4K 隨機讀寫/循序讀寫混合負載 2-4 小時，監控延遲、IOPS、錯誤計數。
• 網路/儲存網路：iperf3 (吞吐/丟包) / fio 對網路儲存目標 → 1-2 小時。
• 熱力驗證：全元件滿載下，IPMI/紅外熱像確認所有元件溫度 < 廠商規範上限 - 10°C 安全裕度。

驗證通過標準

• 零 MCE/藍屏/核心恐慌/硬體錯誤事件。
• 效能指標 (CPU 頻率、記憶體頻帶、IOPS、延遲) 穩定在基線 ±5% 內。
• 溫度、風扇轉速、電壓、功耗曲線平滑無突變。

四、 事件記錄與知識沉澱

1. 建立標準化故障單：時間、癥狀、日誌證據、排查步驟、根因、修復動作、驗證結果、預防措施。
2. 納入 CMDB (配置管理資料庫) 更新元件狀態、壽命預測。
3. 定期複盤高頻故障模式，優化監控閾值、預防性更換策略、備份/容災演練。

---

伺服器死機排查的核心心法：
📋 有據可查 (完整日誌/SEL/MCE) → 🔬 單一變量驗證 (模組替換法) → 🔄 閉環驗證 (標準壓力測試) → 📚 知識沉澱 (故障單/CMDB/預防策略)。
這不僅是修好一台機器，更是構建基礎設施高可用體系的必修課。