某生產環境伺服器因操作失誤,導致 /usr/bin 與 /usr/sbin 兩個核心二進制目錄被完整刪除。這兩個目錄包含系統絕大多數使用者空間執行檔(如 ls、cp、bash、systemctl 等),一旦遺失將導致系統幾乎癱瘓,連基本指令都無法執行。
若當前仍有 root Shell 保持連線,千萬不要登出。現有 Shell 進程已將常用指令載入記憶體,仍可執行 cp、tar、scp 等指令進行搶救。
找一台相同發行版、相同核心版本、相同套件組合的備援主機,透過 tar 打包後再傳輸,避免直接 scp -r 因符號連結、硬連結、裝置檔等特殊檔案類型導致體積暴增(原文提到 100MB 卻傳了近 1GB):
# 備援機器上打包(保留權限、連結、擴充屬性)
tar --numeric-owner -czvf /tmp/usr_bin.tar.gz /usr/bin
tar --numeric-owner -czvf /tmp/usr_sbin.tar.gz /usr/sbin
# 傳輸至故障機器
scp /tmp/usr_bin.tar.gz /tmp/usr_sbin.tar.gz root@broken-server:/tmp/
# 故障機器上解壓還原
cd /
tar -xzvf /tmp/usr_bin.tar.gz
tar -xzvf /tmp/usr_sbin.tar.gz
若 /lib64/ld-linux-x86-64.so.2 或 /bin/bash 也受影響,需從安裝媒體(ISO 掛載或救援模式)手動複製關鍵檔案至 /lib64、/bin、/sbin。
恢復檔案後,執行套件管理器驗證與修復:
# RHEL/CentOS/Fedora
rpm -Va # 驗證所有套件檔案完整性
yum reinstall -y \* # 重新安裝受損套件(謹慎使用)
# Debian/Ubuntu
dpkg --verify # 驗證
apt-get install --reinstall $(dpkg -S /usr/bin /usr/sbin | cut -d: -f1 | sort -u)
| 現象 | 原因 | 解決方案 |
|---|---|---|
登入提示 unknown terminal type | /usr/share/terminfo 遺失或 TERM 環境變數錯誤 | 重裝 ncurses-base、ncurses-terminfo;設定 export TERM=xterm-256color |
top、clear、vim 無法運作 | 終端機能力資料庫損毀或共用庫缺失 | 同上,並檢查 ldd /usr/bin/top 確認動態連結 |
| tftp、telnet 服務異常 | xinetd 設定檔或服務執行檔遺失 | 重裝對應套件(tftp-server、telnet-server)並重啟 xinetd |
/etc/ssh/sshd_config 設定 PermitRootLogin no,改用一般帳號 + sudo。visudo 精確授權必要指令,例如:
ops ALL=(ALL) NOPASSWD: /sbin/mount, /sbin/umount, /sbin/ifconfig, /bin/systemctl restart nginx
auditd 記錄關鍵指令(rm -rf /usr/* 等),並整合至日誌分析平台。chattr +i(需謹慎,會阻擋套件更新):
chattr +i /usr/bin /usr/sbin /bin /sbin /lib64
核心目錄誤刪屬於 P0 級事故,恢復關鍵在於「保持現有 Shell 存活」與「同版本環境同步」。事後必須落實最小權限、審計追蹤與不可變保護,從根源杜絕人為誤操作風險。