萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> MySQL 教學

MySQL 5.7 多源複寫:架構優勢、配置實戰與並行複寫效能調優

多源複寫核心價值

基礎架構:1 主 1 從複寫流程回顧

  • Master binlog dump thread → 傳送 Binlog 事件
  • Slave I/O thread → 寫入 Relay Log
  • Slave SQL thread → 回放 Relay Log 恢復數據

狀態確認:

SHOW PROCESSLIST;
-- I/O thread:  Waiting for master to send event
-- SQL thread:  Slave has read all relay log; waiting for more updates

多源複寫架構差異

每個上游 Master 對應一組獨立的 I/O thread + SQL thread (含 Coordinator + Workers),通過 **Channel** 隔離:

Master1 (music)  ──Channel master1──►
Master2 (habit)  ──Channel master2──►  Slave (匯聚節點)
Master3 (...)    ──Channel master3──►

配置多源複寫(5 步驟)

STOP SLAVE;
SET GLOBAL master_info_repository = 'TABLE';
SET GLOBAL relay_log_info_repository = 'TABLE';

CHANGE MASTER TO
  MASTER_HOST='192.168.5.160', MASTER_USER='slave1', MASTER_PASSWORD='gaoqiang',
  MASTER_LOG_FILE='mysql-bin.000080', MASTER_LOG_POS=154
  FOR CHANNEL 'master1';

CHANGE MASTER TO
  MASTER_HOST='192.168.5.163', MASTER_USER='slave1', MASTER_PASSWORD='gaoqiang',
  MASTER_LOG_FILE='mysql-bin.000120', MASTER_LOG_POS=200
  FOR CHANNEL 'master2';

START SLAVE;

驗證多源狀態

SHOW SLAVE STATUS FOR CHANNEL 'master1'\G
SHOW SLAVE STATUS FOR CHANNEL 'master2'\G
-- 關鍵欄位:Slave_IO_Running=Yes, Slave_SQL_Running=Yes, Seconds_Behind_Master=0

效能提升利器:並行複寫

架構演進

  • 傳統:單一 SQL thread 串行回放
  • 5.6+:slave_parallel_workers=N,SQL thread 分裂為 **Coordinator + N Workers**
  • 5.7+:slave_parallel_type=LOGICAL_CLOCK,基於 last_committed 判斷事務可並行組,無需庫級隔離

開啟並行複寫(單源/多源通用)

STOP SLAVE;
SET GLOBAL SLAVE_PARALLEL_TYPE='LOGICAL_CLOCK';
SET GLOBAL SLAVE_PARALLEL_WORKERS=30;
START SLAVE;

驗證 Worker 進程

SHOW PROCESSLIST;
-- 每個 Channel 會出現 1 個 Coordinator + 30 個 Worker
-- 多源 2 Channel → 共 62 個複寫相關執行緒

並行度選擇:為什麼是 30?

Sysbench 壓測(OLTP、InnoDB、5 表、2 萬請求、100 併發)對比:

優勢說明
數據匯聚分庫分表場景下,多個 Master 數據集中到單一 Slave,統一進行 OLAP 分析、報表查詢
成本優化5.7 前需 1 主配 1 從,多源複寫可將 N 個從庫合併為 1 台,節省硬體/授權成本
集中備份單一 mysqldump --all-databases 即可備份所有上游數據
異地災備Slave 部署於遠端機房,作為多源數據的異地備份節點
並行度CPU 使用率完成時間評價
0 (關閉)低最長單線程瓶頸
1高長Coordinator+1 Worker 反而較慢
2高長協調開銷大於收益
18適中較短平衡點
30適中**最短****最佳**
300極高較長協調/上下文切換開銷爆炸

結論: 並行度**並非越大越好**,需依硬體(CPU 核心、磁碟 IOPS)、業務(事務大小、衝突率)實測調優。關閉並行請設 0,勿設 1(1 仍啟用協調器開銷)。

多源並行複寫壓測結果

  • 雙 Master 同步施壓,Slave 開啟 30 Workers/Channel
  • CPU 使用率平穩 ~36% 峰值,無明顯抖動
  • Disk Write 平穩,曲線最早歸零
  • 記憶體佔用差異極小
  • 完成時間顯著短於單線程,資源利用率更高

生產部署檢查清單

  • [ ] 所有 Master 啟用 GTID(gtid_mode=ON, enforce_gtid_consistency=ON)
  • [ ] Slave master_info_repository=TABLE, relay_log_info_repository=TABLE
  • [ ] 每 Channel 獨立 relay_log 路徑,避免衝突
  • [ ] slave_parallel_type=LOGICAL_CLOCK + 實測最佳 slave_parallel_workers
  • [ ] 監控:pt-heartbeat 指定 --master-server-id 分通道監控延遲
  • [ ] 告警:任一 Channel Seconds_Behind_Master > 30s 或 Slave_SQL_Running=No 立即通知
copyright © 萬盛學電腦網 all rights reserved