常見故障現象
- 掛載點變為 **Read-only** (`mount -o remount,rw /` 失效)
- 日誌報錯:`EXT4-fs error`, `I/O error`, `inode table corrupted`, `journal abort`
- 啟動進入 Emergency Mode,提示 `Run fsck manually`
- 文件消失、目錄變亂碼、
ls 報 `Input/output error`
核心成因
- 非正常關機/斷電: 日誌未提交、元數據未刷盤 (最常見)。
- 硬件故障: 磁盤壞道、RAID 控制器故障、內存錯誤 (ECC 未覆蓋)、數據線/背板接觸不良。
- 內核 Bug / 文件系統驅動缺陷: 特定內核版本已知問題 (如 ext4 `lazyitableinit` 相關)。
- 多路徑/集群並發寫入無鎖: 共享存儲缺乏分布式鎖 (OCFS2/GFS2 未正確配置)。
- 快照/備份工具凍結失敗: LVM 快照、VMware Snapshot、Veeam 凍結文件系統超時導致元數據不一致。
緊急修復流程 (生產環境)
階段 0:止損與備份 (最關鍵)
# 1. 立即停止寫入業務
systemctl stop your-app-service
# 2. 若可讀,立即備份關鍵數據 (只讀掛載下複製)
mkdir -p /mnt/backup
mount -o ro /dev/sda2 /mnt/backup # 若已掛載 ro 則無需重掛
rsync -av /mnt/backup/critical_data /safe_storage/
# 3. 如為雲盤/RAID,先在存儲層面做快照 (AWS EBS Snapshot, VMware Snapshot, Ceph RBD Snap)
# 切勿直接在損壞文件系統上操作,先備份元數據
dd if=/dev/sda2 of=/safe_storage/sda2_meta_backup.img bs=1M count=100 # 備份前 100MB 超級塊/組描述符
階段 1:單用戶模式 / LiveCD 環境下運行 fsck
# 單用戶模式 (Grub 編輯內核參數加 rd.break 或 init=/bin/bash)
# 掛載根分區只讀
mount -o remount,ro /
# 或使用 LiveCD (SystemRescueCd, Ubuntu Live) 啟動,確保目標分區**未掛載**
# 對於根分區,必須用 LiveCD
# 運行 fsck (ext4 示例)
fsck -y /dev/sda2 # 自動修復 (-y 確認所有提示)
# 或互動模式 (關鍵數據建議)
fsck -f /dev/sda2 # 強制檢查即使標記 clean
# XFS 文件系統 (不可 fsck,用 xfs_repair)
xfs_repair -n /dev/sda3 # 僅檢查不修復
xfs_repair /dev/sda3 # 修復 (需卸載)
# Btrfs
btrfs check --repair /dev/sda4 # 謹慎使用,建議先備份
階段 2:修復後驗證
# 重新掛載讀寫
mount -o remount,rw /
# 檢查關鍵文件完整性
rpm -Va # RPM 系統驗證文件屬性/校驗和
debsums -c # Debian 系統
# 檢查日誌確認無新錯誤
dmesg -T | grep -i -e ext4 -e xfs -e btrfs -e i/o -e error
# 重啟驗證
reboot
預防措施體系
| 層面 | 措施 |
| 硬件 | RAID 1/5/6/10 + 熱備盤 + 智能告警 (SMART 監控 `smartd`)、ECC 內存、雙電源、UPS |
| 內核/文件系統 | 使用穩定內核 LTS、啟用文件系統校驗和 (ext4 `metadata_csum`、XFS `crc`、Btrfs 校驗和)、定期 `fsck` 排程 (tune2fs -c 30 -i 30d /dev/sda2) |
| 備份 | 3-2-1 原則:3 副本、2 種介質、1 異地。測試恢複流程 (每季度)。工具:Restic, BorgBackup, Rsync, Veeam, 快照 |
| 監控 | Prometheus + Node Exporter 監控 `node_filesystem_readonly{device="..."} == 1`、`node_disk_io_errors_total`、`smartmontools` 指標 |
| 操作規範 | 禁止 `kill -9` 數據庫進程、禁止強制拔盤、維護窗口統一變更、變更前快照 |
特殊場景處理
- LVM 元數據損壞: `vgcfgrestore` 從 `/etc/lvm/archive/` 或備份恢複 VG 元數據。
- 超級塊損壞: `mke2fs -n /dev/sda2` 獲取備份超級塊位置 → `fsck -b 32768 /dev/sda2` 指定備份超級塊修復。
- Inode 耗盡: `df -i` 發現 IUse% 100% → 刪除大量小文件目錄 (如緩存、郵件隊列) → `tune2fs -l /dev/sda2 | grep Inode` 查看總量。
- Journal 設備分離: 外部日誌設備故障 → `tune2fs -J device=/dev/sdb1 /dev/sda2` 重建日誌 (需卸載)。