MySQL 進程被 OOM Killer 殺掉,系統日志出現 Out of memory: Kill process mysqld,傳統排查需借助 pmap、gdb、valgrind 等外部工具,門檻極高。MySQL 5.7 引入 Performance Schema 內存儀表,配合 sys Schema 格式化視圖,讓 DBA 僅用 SQL 即可完成全維度內存分析、定位泄漏對象、匹配官方 Bug。本文實戰演示完整診斷鏈路。
# 1. 系統日志
grep -i "out of memory" /var/log/messages
# Out of memory: Kill process 12345 (mysqld) score 950 or sacrifice child
# 2. dmesg
dmesg -T | grep -i oom
# [Oct15 14:32] oom-killer invoked ... mysqld (pid 12345)
# 3. MySQL 錯誤日志
tail -100 /var/log/mysqld.log
# 可能無任何異常,進程被強殺不會留下堆棧
5 個聚合維度表:
| 表名 | 聚合維度 | 典型用途 |
|---|---|---|
| memory_summary_global_by_event_name | 全局按事件名 | 全局內存佔用 TOP N |
| memory_summary_by_thread_by_event_name | 線程 × 事件名 | 定位哪個線程佔用最多 |
| memory_summary_by_user_by_event_name | 用戶 × 事件名 | 租戶/業務線內存配額 |
| memory_summary_by_host_by_event_name | 主機 × 事件名 | 客戶端 IP 維度分析 |
| memory_summary_by_account_by_event_name | 賬號 × 事件名 | 賬號維度配額 |
EVENT_NAME:內存儀表名稱,格式 memory/子系統/組件CURRENT_COUNT_USED:當前分配塊數CURRENT_NUMBER_OF_BYTES_USED:當前佔用字節數 (核心指標)HIGH_WATER_MARK:歷史峰值預設僅統計 memory/performance_schema/%,業務關鍵的 InnoDB、SQL 層內存默認**未啟用**。
UPDATE performance_schema.setup_instruments
SET enabled = 'YES' WHERE name LIKE 'memory%';
-- 查看生效
SELECT * FROM performance_schema.setup_instruments WHERE name LIKE 'memory%innodb%' LIMIT 5;
[mysqld]
performance-schema-instrument='memory/%=COUNTED'
# 重啟後即可看到 InnoDB Buffer Pool、Hash、Log 等所有內存對象
-- 全局內存佔用 TOP 10 (自動換算單位)
SELECT event_name, current_alloc
FROM sys.memory_global_by_current_bytes
LIMIT 10;
-- 輸出示例
+-----------------------------------------------------------+---------------+
| event_name | current_alloc |
+-----------------------------------------------------------+---------------+
| memory/innodb/os0file | 1.42 GiB |
| memory/innodb/buf_buf_pool | 1.05 GiB |
| memory/innodb/os0event | 51.15 MiB |
| memory/innodb/hash0hash | 41.44 MiB |
| memory/innodb/log0log | 32.01 MiB |
| memory/performance_schema/events_statements_history_long | 13.66 MiB |
+-----------------------------------------------------------+---------------+
-- 線程維度 TOP 10
SELECT thread_id, event_name, current_alloc
FROM sys.memory_by_thread_by_current_bytes
LIMIT 10;
-- 用戶維度
SELECT user, event_name, current_alloc
FROM sys.memory_by_user_by_current_bytes
LIMIT 10;
innodb_buffer_pool_size=1Gmemory/innodb/os0file 佔用 1.42 GiB,**超過 Buffer Pool**memory/innodb/buf_buf_pool 僅 1.05 GiB (符合預期)-- 搜索官方 Bug 數據庫
-- 關鍵詞:os0file memory leak 5.7
-- 命中 Bug #81989 / #82000:innodb_open_files 過大導致 os0file 內存洩漏
-- 影響版本:5.7.10 - 5.7.13
-- 修復版本:5.7.14
-- 升級至 5.7.14+ 後重新觀察
SELECT event_name, current_alloc
FROM sys.memory_global_by_current_bytes
WHERE event_name LIKE '%innodb%os0file%';
-- 應恢復至正常範圍 (< 50 MiB)
| 儀表名稱 | 典型業務含義 | 常見原因 | 調優方向 |
|---|---|---|---|
| memory/innodb/buf_buf_pool | Buffer Pool | 配置過大超過物理內存 70% | 降低 innodb_buffer_pool_size |
| memory/innodb/lock0lock | 鎖系統 (鎖結構、死鎖檢測) | 高併發行鎖、長事務、無索引 UPDATE | 優化索引、縮短事務、調大 lock_wait_timeout |
| memory/innodb/trx0undo | Undo Log | 長事務、大事務、歷史版本堆積 | 避免長事務、啟用 innodb_undo_log_truncate (5.7+) |
| memory/sql/thd::main_mem_root | 線程主內存根 (臨時表、排序、JOIN Buffer) | 大排序、無索引 JOIN、tmp_table_size 過大 | 優化 SQL、調小 sort_buffer_size/join_buffer_size |
| memory/performance_schema/... | PS 自身內存 | history 長度過大、digest 佔用高 | 調小 performance_schema_events_statements_history_long_size |
performance-schema-instrument='memory/%=COUNTED' + 重啟 (或動態開啟觀察新分配)SELECT * FROM sys.memory_global_by_current_bytes ORDER BY current_alloc DESC LIMIT 20;儀表名 + 版本MySQL 5.7 Performance Schema 內存儀表 + sys Schema 視圖,將 OOM 診斷從「黑盒猜測」變為「白盒 SQL 分析」。核心在於:**提前啟用全量儀表**、**建立正常基線**、**異常時快速定位 TOP 消費者**、**匹配官方 Bug 庫**。配合 innodb_status_output=ON、innodb_status_output_locks=ON 定期輸出 SHOW ENGINE INNODB STATUS,構建立體內存觀測體系,讓 OOM 故障從「事故」變為「可觀測、可定位、可預防」的常規運維項目。