MySQL 復制長期以來採用單線程 sql_thread 回放 Relay Log,主庫多核並發寫入、備庫單線程回放,導致備庫延遲隨寫入壓力增大而失控。解決思路統一為:將 sql_thread 拆分為分發線程 + 多個 worker 線程,核心差異在於分發策略——如何判斷哪些事務可以並行執行。

前提: Binlog 格式統一為 ROW,便於解析 Table_map event 與主鍵。
庫名+表名 為 Hash Key,同一表的更新路由至同一 Worker,保證單表順序。庫名+表名+主鍵ID 為 Hash Key,同一行更新串行,不同行並行。關鍵細節: 事務原子性要求,決策單位是「事務組」(多個 Hash Key),而非單個 Event。
庫名,不同庫並行,同庫串行。commit_id,備庫同組並行回放(因主庫能同時提交,說明無行衝突)。domain_id 標識多源復制來源,commit_id 標識組提交序號。改進動機: 事務提交非原子點,可分為 Prepare → Commit 中 → Commit 完成 三階段。MariaDB 僅利用「Commit 中」同組並行,忽略了「Prepare 階段」與「Commit 中」可並行的事實。
max_committed_transaction(上組提交序號 = last_committed)transaction_counter(當前組內事務序號 = sequence_number)last_committed、sequence_number(可通過 mysqlbinlog 查看)。last_committed 的事務可並行;last_committed 遞增時,需等待前組所有事務完成。主庫事務提交時序(Prepare...Commit): trx1 1.....2 trx2 1.........3 trx3 1...............4 trx4 2...............5 trx5 3....................6 trx6 3..............................7 trx7 6........................8 MariaDB 策略(按組串行): Group1: trx1,trx2,trx3 → 耗時 = max(trx3) Group2: trx4 → 耗時 = trx4 Group3: trx5,trx6 → 耗時 = max(trx6) Group4: trx7 → 耗時 = trx7 總耗時 = trx3 + trx4 + trx6 + trx7 MySQL 5.7 策略(流水線並行): trx1 完成後 trx4 即可啟動;trx4 完成後 trx7 可與 trx5/trx6 並行。 備庫並發度逼近主庫,但大事務(如 trx2 Commit 極慢)仍會拖慢後續組啟動。
[mysqld] # 從庫必開 slave-parallel-type=LOGICAL_CLOCK slave-parallel-workers=16 master_info_repository=TABLE relay_log_info_repository=TABLE relay_log_recovery=ON # 監控表(performance_schema) replication_applier_status_by_worker replication_applier_status_by_coordinator ...
master_info_repository=TABLE 可提升 50%~80% 性能(減少文件 IO 競爭)。slave_parallel_workers=1 反而比 0 慢(多一次 Coordinator 轉發),生產環境建議 ≥4。| 策略 | 粒度 | 並行度 | 額外開銷 | 大事務影響 | 適用場景 |
|---|---|---|---|---|---|
| 按庫 | 粗 | 低 | 極小 | 無 | 多庫架構、5.6 官方原生 |
| 按表 | 中 | 中 | 中(Hash 維護) | 無 | 多表均衡寫入、AliSQL 5.5 |
| 按行 | 細 | 高 | 大(Key 計算、內存) | 無 | 熱點表高併發、AliSQL 5.5 |
| MariaDB Commit ID | 組 | 高 | 小 | 有(拖後腿) | 多源復制、組提交頻繁 |
| MySQL 5.7 LOGICAL_CLOCK | 組+流水線 | 最高 | 小 | 有(大事務阻塞後組) | 5.7+ 原生、高併發寫入 |
核心洞見:
master_info_repository=TABLE、relay_log_recovery=ON,並監控 performance_schema.replication_applier_status_by_worker 觀察 Worker 負載均衡。參考資源:印風《MySQL 5.7 並行復制原理深度解析》