一場因變數未設定導致 rm -rf $ORACLE_BASE/* 變成 rm -rf /* 的災難,將生產伺服器整顆資料盤徹底刪除(含 Tomcat、MySQL 資料庫)。備份系統失效、離線備份損壞,靠 ext3grep 掃描 inode 復原檔案 與 MySQL binlog 重放 奇蹟般找回核心業務資料。完整記錄事故過程、工具使用、踩坑教訓與事後改善。
ORACLE_BASE 未賦值導致刪除根目錄。適用 ext3/ext4 檔案系統,可掃描已刪除 inode 並嘗試復原檔案內容。
# 立即卸載分區防止覆寫 umount /dev/vgdata/LogVol00 # 編譯安裝 ext3grep (依賴較多,參考官方文檔) # 掃描所有可復原檔案路徑 ext3grep /dev/vgdata/LogVol00 --dump-names > /usr/allnames.txt
# 過濾 MySQL 相關檔案
grep "var/lib/mysql" /usr/allnames.txt > mysqltbname.txt
# 批次腳本嘗試逐個復原
while read LINE; do
echo "restore $LINE"
ext3grep /dev/vgdata/LogVol00 --restore-file "$LINE"
done < mysqltbname.txt
結果:僅復原約 40 個檔案(預期 300+),大部分 .MYD 資料檔因磁區已被覆寫而失敗。
記得 MySQL 啟用了 log-bin。從掃描列表中找到 mysql-bin.000010(數百 MB),嘗試復原:
ext3grep /dev/vgdata/LogVol00 --restore-file var/lib/mysql/mysql-bin.000010 # 成功!複製至測試伺服器 scp mysql-bin.000010 test-server:/tmp/ # 重放 binlog mysqlbinlog /tmp/mysql-bin.000010 | mysql -uroot -p
漫長等待後完成,**核心業務資料(考勤簽到、手機端上報)完整回歸!**
語法類似 ext3grep,宣稱支援目錄級恢複 --restore-directory,實測同樣因磁區覆寫失敗。
init_directories.cc:534 斷言失敗 Bug)