萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 伺服器教學

生產伺服器誤執行 rm -rf /* 刪除根目錄,兩天搶救血淚實錄:ext3grep + binlog 完美復原 MySQL 資料

一場因變數未設定導致 rm -rf $ORACLE_BASE/* 變成 rm -rf /* 的災難,將生產伺服器整顆資料盤徹底刪除(含 Tomcat、MySQL 資料庫)。備份系統失效、離線備份損壞,靠 ext3grep 掃描 inode 復原檔案 與 MySQL binlog 重放 奇蹟般找回核心業務資料。完整記錄事故過程、工具使用、踩坑教訓與事後改善。

事故回顧

  • 人員安排不當:未受訓人員以 root 執行高風險操作。
  • 指令缺陷:ORACLE_BASE 未賦值導致刪除根目錄。
  • 備份失效:crontab 備份腳本輸出 1KB 空檔,離線備份停留在半年前。

搶救關鍵工具:ext3grep

適用 ext3/ext4 檔案系統,可掃描已刪除 inode 並嘗試復原檔案內容。

安裝與掃描

# 立即卸載分區防止覆寫
umount /dev/vgdata/LogVol00
# 編譯安裝 ext3grep (依賴較多,參考官方文檔)
# 掃描所有可復原檔案路徑
ext3grep /dev/vgdata/LogVol00 --dump-names > /usr/allnames.txt

嘗試復原 MySQL 資料檔

# 過濾 MySQL 相關檔案
grep "var/lib/mysql" /usr/allnames.txt > mysqltbname.txt
# 批次腳本嘗試逐個復原
while read LINE; do
    echo "restore $LINE"
    ext3grep /dev/vgdata/LogVol00 --restore-file "$LINE"
done < mysqltbname.txt

結果:僅復原約 40 個檔案(預期 300+),大部分 .MYD 資料檔因磁區已被覆寫而失敗。

轉機:MySQL Binlog 重放

記得 MySQL 啟用了 log-bin。從掃描列表中找到 mysql-bin.000010(數百 MB),嘗試復原:

ext3grep /dev/vgdata/LogVol00 --restore-file var/lib/mysql/mysql-bin.000010
# 成功!複製至測試伺服器
scp mysql-bin.000010 test-server:/tmp/
# 重放 binlog
mysqlbinlog /tmp/mysql-bin.000010 | mysql -uroot -p

漫長等待後完成,**核心業務資料(考勤簽到、手機端上報)完整回歸!**

其他嘗試工具:extundelete

語法類似 ext3grep,宣稱支援目錄級恢複 --restore-directory,實測同樣因磁區覆寫失敗。

事故反思與改善措施

  1. 變更管理流程: 生產環境任何變更必須經審批、備份驗證、演練回滾。
  2. 備份可用性審計: 每日自動校驗備份檔案大小/完整性,異常立即告警。
  3. 服務監控告警: 關鍵服務 (MySQL, Tomcat) 掛掉秒級短信/電話通知責任人。
  4. 最小權限原則: 禁止直接使用 root 操作,建立專屬運維帳號並配置 sudo 精確授權。
  5. 團隊協作文化: 事故無責怪,集中精力解決問題;事後複盤輸出文檔沉澱經驗。

工具連結

copyright © 萬盛學電腦網 all rights reserved