萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

Linux 文件系統損壞原因分析與修復實戰

常見故障現象

  • 掛載點變為 **Read-only** (`mount -o remount,rw /` 失效)
  • 日誌報錯:`EXT4-fs error`, `I/O error`, `inode table corrupted`, `journal abort`
  • 啟動進入 Emergency Mode,提示 `Run fsck manually`
  • 文件消失、目錄變亂碼、ls 報 `Input/output error`

核心成因

  1. 非正常關機/斷電: 日誌未提交、元數據未刷盤 (最常見)。
  2. 硬件故障: 磁盤壞道、RAID 控制器故障、內存錯誤 (ECC 未覆蓋)、數據線/背板接觸不良。
  3. 內核 Bug / 文件系統驅動缺陷: 特定內核版本已知問題 (如 ext4 `lazyitableinit` 相關)。
  4. 多路徑/集群並發寫入無鎖: 共享存儲缺乏分布式鎖 (OCFS2/GFS2 未正確配置)。
  5. 快照/備份工具凍結失敗: LVM 快照、VMware Snapshot、Veeam 凍結文件系統超時導致元數據不一致。

緊急修復流程 (生產環境)

階段 0:止損與備份 (最關鍵)

# 1. 立即停止寫入業務
systemctl stop your-app-service

# 2. 若可讀,立即備份關鍵數據 (只讀掛載下複製)
mkdir -p /mnt/backup
mount -o ro /dev/sda2 /mnt/backup  # 若已掛載 ro 則無需重掛
rsync -av /mnt/backup/critical_data /safe_storage/

# 3. 如為雲盤/RAID,先在存儲層面做快照 (AWS EBS Snapshot, VMware Snapshot, Ceph RBD Snap)
# 切勿直接在損壞文件系統上操作,先備份元數據
dd if=/dev/sda2 of=/safe_storage/sda2_meta_backup.img bs=1M count=100  # 備份前 100MB 超級塊/組描述符

階段 1:單用戶模式 / LiveCD 環境下運行 fsck

# 單用戶模式 (Grub 編輯內核參數加 rd.break 或 init=/bin/bash)
# 掛載根分區只讀
mount -o remount,ro /

# 或使用 LiveCD (SystemRescueCd, Ubuntu Live) 啟動,確保目標分區**未掛載**
# 對於根分區,必須用 LiveCD

# 運行 fsck (ext4 示例)
fsck -y /dev/sda2          # 自動修復 (-y 確認所有提示)
# 或互動模式 (關鍵數據建議)
fsck -f /dev/sda2          # 強制檢查即使標記 clean

# XFS 文件系統 (不可 fsck,用 xfs_repair)
xfs_repair -n /dev/sda3    # 僅檢查不修復
xfs_repair /dev/sda3       # 修復 (需卸載)

# Btrfs
btrfs check --repair /dev/sda4  # 謹慎使用,建議先備份

階段 2:修復後驗證

# 重新掛載讀寫
mount -o remount,rw /

# 檢查關鍵文件完整性
rpm -Va  # RPM 系統驗證文件屬性/校驗和
debsums -c  # Debian 系統

# 檢查日誌確認無新錯誤
dmesg -T | grep -i -e ext4 -e xfs -e btrfs -e i/o -e error

# 重啟驗證
reboot

預防措施體系

層面措施
硬件RAID 1/5/6/10 + 熱備盤 + 智能告警 (SMART 監控 `smartd`)、ECC 內存、雙電源、UPS
內核/文件系統使用穩定內核 LTS、啟用文件系統校驗和 (ext4 `metadata_csum`、XFS `crc`、Btrfs 校驗和)、定期 `fsck` 排程 (tune2fs -c 30 -i 30d /dev/sda2)
備份3-2-1 原則:3 副本、2 種介質、1 異地。測試恢複流程 (每季度)。工具:Restic, BorgBackup, Rsync, Veeam, 快照
監控Prometheus + Node Exporter 監控 `node_filesystem_readonly{device="..."} == 1`、`node_disk_io_errors_total`、`smartmontools` 指標
操作規範禁止 `kill -9` 數據庫進程、禁止強制拔盤、維護窗口統一變更、變更前快照

特殊場景處理

  • LVM 元數據損壞: `vgcfgrestore` 從 `/etc/lvm/archive/` 或備份恢複 VG 元數據。
  • 超級塊損壞: `mke2fs -n /dev/sda2` 獲取備份超級塊位置 → `fsck -b 32768 /dev/sda2` 指定備份超級塊修復。
  • Inode 耗盡: `df -i` 發現 IUse% 100% → 刪除大量小文件目錄 (如緩存、郵件隊列) → `tune2fs -l /dev/sda2 | grep Inode` 查看總量。
  • Journal 設備分離: 外部日誌設備故障 → `tune2fs -J device=/dev/sdb1 /dev/sda2` 重建日誌 (需卸載)。
copyright © 萬盛學電腦網 all rights reserved