萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> MySQL 教學

MySQL 並行復制演進全景:從 5.5 到 5.7、MariaDB 的策略對比與選型指南

背景:為什麼需要並行復制?

MySQL 復制長期以來採用單線程 sql_thread 回放 Relay Log,主庫多核並發寫入、備庫單線程回放,導致備庫延遲隨寫入壓力增大而失控。解決思路統一為:將 sql_thread 拆分為分發線程 + 多個 worker 線程,核心差異在於分發策略——如何判斷哪些事務可以並行執行。

傳統復制架構 並行復制架構

分發策略分類

  • 基於傳統 Binlog 格式:利用現有 event 信息(庫名、表名、行主鍵)按粒度分發 —— 按庫、按表、按行。
  • 修改 Binlog 格式:在 Binlog 寫入額外元數據(如 commit_id、last_committed)標識提交組,備庫據此並行 —— MariaDB、MySQL 5.7。

各版本實現詳解

1. MySQL 5.5(官方不支持,阿里內部版 AliSQL 實現)

前提: Binlog 格式統一為 ROW,便於解析 Table_map event 與主鍵。

按表分發

  • 原理: 以 庫名+表名 為 Hash Key,同一表的更新路由至同一 Worker,保證單表順序。
  • 優勢: 多表並發更新場景效果顯著。
  • 劣勢: 熱點表無法並行;Hash 表維護開銷大,反而可能降低性能。

按行分發

  • 原理: 以 庫名+表名+主鍵ID 為 Hash Key,同一行更新串行,不同行並行。
  • 前提: 表必須有主鍵。
  • 優勢: 解決熱點表並行問題。
  • 劣勢: Hash Key 計算開銷大,大事務內存佔用高,需 DBA 權衡。

關鍵細節: 事務原子性要求,決策單位是「事務組」(多個 Hash Key),而非單個 Event。

2. MySQL 5.6 官方版:按庫分發

  • 策略: Hash Key = 庫名,不同庫並行,同庫串行。
  • 優勢: 實現簡單、Hash 開銷極小、不限制 Binlog 格式(Statement/Row 均可獲取庫名)。
  • 劣勢: 單庫多表無法並行,中國社區反響平平。
  • 變通: 將高頻表拆分到不同庫,間接實現表級並行。

3. MariaDB 10.x:基於 Commit ID 的組提交並行

  • 核心思想: 主庫同一組提交的事務賦予相同 commit_id,備庫同組並行回放(因主庫能同時提交,說明無行衝突)。
  • 實現: 引入 domain_id 標識多源復制來源,commit_id 標識組提交序號。
  • 致命弱點 — 「拖後腿」現象: 某組內若存在大事務(如 DELETE 10萬行),其他小事務雖早完成,仍須等待大事務結束才能進入下一組,並發度驟降。

4. MySQL 5.7:基於 LOGICAL_CLOCK 的增強組提交並行

改進動機: 事務提交非原子點,可分為 Prepare → Commit 中 → Commit 完成 三階段。MariaDB 僅利用「Commit 中」同組並行,忽略了「Prepare 階段」與「Commit 中」可並行的事實。

LOGICAL_CLOCK 機制

  • 引入兩個邏輯時鐘:
    max_committed_transaction(上組提交序號 = last_committed)
    transaction_counter(當前組內事務序號 = sequence_number)
  • Binlog 記錄 last_committed、sequence_number(可通過 mysqlbinlog 查看)。
  • 並行規則: 相同 last_committed 的事務可並行;last_committed 遞增時,需等待前組所有事務完成。

對比演示

主庫事務提交時序(Prepare...Commit):
trx1  1.....2
trx2  1.........3
trx3  1...............4
trx4     2...............5
trx5        3....................6
trx6        3..............................7
trx7           6........................8

MariaDB 策略(按組串行):
Group1: trx1,trx2,trx3  → 耗時 = max(trx3)
Group2: trx4            → 耗時 = trx4
Group3: trx5,trx6       → 耗時 = max(trx6)
Group4: trx7            → 耗時 = trx7
總耗時 = trx3 + trx4 + trx6 + trx7

MySQL 5.7 策略(流水線並行):
trx1 完成後 trx4 即可啟動;trx4 完成後 trx7 可與 trx5/trx6 並行。
備庫並發度逼近主庫,但大事務(如 trx2 Commit 極慢)仍會拖慢後續組啟動。

關鍵配置與調優

[mysqld]
# 從庫必開
slave-parallel-type=LOGICAL_CLOCK
slave-parallel-workers=16
master_info_repository=TABLE
relay_log_info_repository=TABLE
relay_log_recovery=ON

# 監控表(performance_schema)
replication_applier_status_by_worker
replication_applier_status_by_coordinator
...
  • master_info_repository=TABLE 可提升 50%~80% 性能(減少文件 IO 競爭)。
  • slave_parallel_workers=1 反而比 0 慢(多一次 Coordinator 轉發),生產環境建議 ≥4。
  • 主庫寫入並發低時,組提交事務少,並行效果差,甚至因協調開銷導致延遲變大。

總結與選型建議

策略粒度並行度額外開銷大事務影響適用場景
按庫粗低極小無多庫架構、5.6 官方原生
按表中中中(Hash 維護)無多表均衡寫入、AliSQL 5.5
按行細高大(Key 計算、內存)無熱點表高併發、AliSQL 5.5
MariaDB Commit ID組高小有(拖後腿)多源復制、組提交頻繁
MySQL 5.7 LOGICAL_CLOCK組+流水線最高小有(大事務阻塞後組)5.7+ 原生、高併發寫入

核心洞見:

  1. 「無銀彈」:每種策略都有適用邊界,架構師需根據業務寫入模式(單庫/多庫、熱點表、大事務頻率)選型。
  2. 5.7 目標是「模擬主庫並發」,若主庫本身單線程寫入,並行復制無加速效果;而基於衝突檢測的前三種策略,備庫甚至可跑得比主庫快(適合搭建備庫、延遲從庫)。
  3. 生產部署必開 master_info_repository=TABLE、relay_log_recovery=ON,並監控 performance_schema.replication_applier_status_by_worker 觀察 Worker 負載均衡。
參考資源:印風《MySQL 5.7 並行復制原理深度解析》
copyright © 萬盛學電腦網 all rights reserved