萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> MySQL 教學

MySQL 5.7 OOM 診斷實戰:Performance Schema 內存儀表、sys Schema 視圖、官方 Bug 定位全流程

前言

MySQL 進程被 OOM Killer 殺掉,系統日志出現 Out of memory: Kill process mysqld,傳統排查需借助 pmap、gdb、valgrind 等外部工具,門檻極高。MySQL 5.7 引入 Performance Schema 內存儀表,配合 sys Schema 格式化視圖,讓 DBA 僅用 SQL 即可完成全維度內存分析、定位泄漏對象、匹配官方 Bug。本文實戰演示完整診斷鏈路。

一、現場確認:系統層面證據

# 1. 系統日志
grep -i "out of memory" /var/log/messages
# Out of memory: Kill process 12345 (mysqld) score 950 or sacrifice child

# 2. dmesg
dmesg -T | grep -i oom
# [Oct15 14:32] oom-killer invoked ... mysqld (pid 12345)

# 3. MySQL 錯誤日志
tail -100 /var/log/mysqld.log
# 可能無任何異常,進程被強殺不會留下堆棧

二、Performance Schema 內存儀表體系 (5.7 新增)

5 個聚合維度表:

表名聚合維度典型用途
memory_summary_global_by_event_name全局按事件名全局內存佔用 TOP N
memory_summary_by_thread_by_event_name線程 × 事件名定位哪個線程佔用最多
memory_summary_by_user_by_event_name用戶 × 事件名租戶/業務線內存配額
memory_summary_by_host_by_event_name主機 × 事件名客戶端 IP 維度分析
memory_summary_by_account_by_event_name賬號 × 事件名賬號維度配額

關鍵列

  • EVENT_NAME:內存儀表名稱,格式 memory/子系統/組件
  • CURRENT_COUNT_USED:當前分配塊數
  • CURRENT_NUMBER_OF_BYTES_USED:當前佔用字節數 (核心指標)
  • HIGH_WATER_MARK:歷史峰值

三、啟用完整內存統計 (關鍵步驟)

預設僅統計 memory/performance_schema/%,業務關鍵的 InnoDB、SQL 層內存默認**未啟用**。

方案 A:動態開啟 (僅對新分配對象生效)

UPDATE performance_schema.setup_instruments
SET enabled = 'YES' WHERE name LIKE 'memory%';
-- 查看生效
SELECT * FROM performance_schema.setup_instruments WHERE name LIKE 'memory%innodb%' LIMIT 5;

方案 B:全生命週期統計 (需重啟,生產建議)

[mysqld]
performance-schema-instrument='memory/%=COUNTED'
# 重啟後即可看到 InnoDB Buffer Pool、Hash、Log 等所有內存對象

四、sys Schema 格式化視圖:人類可讀的內存報表

-- 全局內存佔用 TOP 10 (自動換算單位)
SELECT event_name, current_alloc
FROM sys.memory_global_by_current_bytes
LIMIT 10;

-- 輸出示例
+-----------------------------------------------------------+---------------+
| event_name                                                | current_alloc |
+-----------------------------------------------------------+---------------+
| memory/innodb/os0file                                     | 1.42 GiB      |
| memory/innodb/buf_buf_pool                                | 1.05 GiB      |
| memory/innodb/os0event                                    | 51.15 MiB     |
| memory/innodb/hash0hash                                   | 41.44 MiB     |
| memory/innodb/log0log                                     | 32.01 MiB     |
| memory/performance_schema/events_statements_history_long  | 13.66 MiB     |
+-----------------------------------------------------------+---------------+

-- 線程維度 TOP 10
SELECT thread_id, event_name, current_alloc
FROM sys.memory_by_thread_by_current_bytes
LIMIT 10;

-- 用戶維度
SELECT user, event_name, current_alloc
FROM sys.memory_by_user_by_current_bytes
LIMIT 10;

五、實戰案例:定位 memory/innodb/os0file 1.42GiB 異常

1. 現象

  • 配置 innodb_buffer_pool_size=1G
  • 觀察 memory/innodb/os0file 佔用 1.42 GiB,**超過 Buffer Pool**
  • memory/innodb/buf_buf_pool 僅 1.05 GiB (符合預期)

2. 定位

-- 搜索官方 Bug 數據庫
-- 關鍵詞:os0file memory leak 5.7
-- 命中 Bug #81989 / #82000:innodb_open_files 過大導致 os0file 內存洩漏
-- 影響版本:5.7.10 - 5.7.13
-- 修復版本:5.7.14

3. 驗證修復

-- 升級至 5.7.14+ 後重新觀察
SELECT event_name, current_alloc
FROM sys.memory_global_by_current_bytes
WHERE event_name LIKE '%innodb%os0file%';
-- 應恢復至正常範圍 (< 50 MiB)

六、其他常見 OOM 內存對象特徵

儀表名稱典型業務含義常見原因調優方向
memory/innodb/buf_buf_poolBuffer Pool配置過大超過物理內存 70%降低 innodb_buffer_pool_size
memory/innodb/lock0lock鎖系統 (鎖結構、死鎖檢測)高併發行鎖、長事務、無索引 UPDATE優化索引、縮短事務、調大 lock_wait_timeout
memory/innodb/trx0undoUndo Log長事務、大事務、歷史版本堆積避免長事務、啟用 innodb_undo_log_truncate (5.7+)
memory/sql/thd::main_mem_root線程主內存根 (臨時表、排序、JOIN Buffer)大排序、無索引 JOIN、tmp_table_size 過大優化 SQL、調小 sort_buffer_size/join_buffer_size
memory/performance_schema/...PS 自身內存history 長度過大、digest 佔用高調小 performance_schema_events_statements_history_long_size

七、診斷標準化流程 (SOP)

  1. 確認 OOM:dmesg / messages 確認 mysqld 被殺
  2. 啟用全量儀表:配置文件 performance-schema-instrument='memory/%=COUNTED' + 重啟 (或動態開啟觀察新分配)
  3. 抓取快照:SELECT * FROM sys.memory_global_by_current_bytes ORDER BY current_alloc DESC LIMIT 20;
  4. 異常對象識別:佔用遠超配置預期、或持續增長無釋放趨勢
  5. 匹配官方 Bug:bugs.mysql.com 搜索 儀表名 + 版本
  6. 升級/配置調優/代碼規避:根據根因採取對應措施
  7. 建立基線:正常運行時導出內存分佈基線,納入日常巡檢對比

八、總結

MySQL 5.7 Performance Schema 內存儀表 + sys Schema 視圖,將 OOM 診斷從「黑盒猜測」變為「白盒 SQL 分析」。核心在於:**提前啟用全量儀表**、**建立正常基線**、**異常時快速定位 TOP 消費者**、**匹配官方 Bug 庫**。配合 innodb_status_output=ON、innodb_status_output_locks=ON 定期輸出 SHOW ENGINE INNODB STATUS,構建立體內存觀測體系,讓 OOM 故障從「事故」變為「可觀測、可定位、可預防」的常規運維項目。

copyright © 萬盛學電腦網 all rights reserved