萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> MySQL 教學

MySQL 海量數據存儲與訪問架構設計:分庫分表、路由規則、讀寫分離、集群高可用全景解析

前言

面對日均億級 PV、TB 級數據增長,單機 MySQL 早已觸及 IOPS、CPU、網絡、存儲容量的物理上限。水平擴展 —— 通過分庫分表將數據分散到多個物理節點,配合讀寫分離、集群高可用、負載均衡、故障探測 —— 成為大型互聯網架構標配。本文系統闡述分布式數據訪問層 (DDAL) 核心設計:切分維度、路由算法、集群模型、負載策略、可用性探測、讀寫分離、擴容遷移。

一、為什麼要分庫分表

痛點單機極限分庫分表收益
存儲容量單機磁盤 10-20TB橫向無限擴展
寫入吞吐單主序列化瓶頸多主並行寫入
讀取吞吐單機連接數/內存限制多從並行讀取 + 緩存
故障域單點故障 = 全業務不可用單分片故障僅影響 1/N 流量
備份恢復TB 級備份耗時數小時分片並行備份,單分片分鐘級恢復

二、切分維度與路由規則

1. 分片鍵選擇原則

  • 查詢維度對齊:高頻查詢 WHERE 條件必須包含分片鍵,避免廣播查詢
  • 數據均勻分布:避免熱點分片 (如大客戶、熱門商品)
  • 業務隔離性:同一業務實體數據盡量落在同分片,減少分布式事務

2. 三大經典路由算法

① 號段範圍

-- uid 1-10000 → DB1, 10001-20000 → DB2
-- 優點:範圍查詢友好、部分遷移易 (整段移動)
-- 缺點:數據傾斜 (新用戶集中寫入最新分片)、擴容需重新劃分範圍

② Hash 取模

-- db_index = hash(uid) % N
-- 優點:數據極度均勻、擴容只需調整 N
-- 缺點:擴容時數據遷移量大 (Consistent Hash 可緩解)、範圍查詢需廣播

③ 配置表映射 (元數據路由)

-- 獨立 config_db 存儲 uid → db_id 映射
-- 優點:極致靈活、一對一精準控制、異構分片
-- 缺點:每次查詢額外 1 次 RPC/DB 訪問、配置表成單點 (需高可用)

3. 復合路由策略 (生產常用)


+------------------+      +------------------+
|  用戶庫          |      |  訂單庫          |
|  uid % 8 → 8分片 |      |  uid % 8 → 8分片 |  -- 同分片鍵,保證單分片事務
+------------------+      +------------------+
|  日志庫          |      |  商品庫          |
|  date → 月分表   |      |  category_id → 16分片 |
+------------------+      +------------------+

三、集群高可用模型 (Group)

每個分片 = 1 個 **Group (集群)**,內部 1 主 N 從:


Group 1 (分片 1)          Group 2 (分片 2)
+-----------+             +-----------+
| Master 1  | <--binlog-->| Master 2  |  (可選雙主或 MGR)
+-----------+             +-----------+
    | ^                         | ^
    | |  半同步/GTID            | |
    v |                         v |
+-----------+             +-----------+
| Slave 1-1 |             | Slave 2-1 |
+-----------+             +-----------+
    |                         |
    v                         v
+-----------+             +-----------+
| Slave 1-2 |             | Slave 2-2 |
+-----------+             +-----------+

故障自動切換流程

  1. 探測器 發現 Master 心跳失聯 (TCP 連接/SELECT 1 超時)
  2. 仲裁:多數派投票 (MGR) 或外部協調器 選出新主
  3. VIP 漂移 / DNS 切換 / ProxySQL 後端權重變更:流量切至新主
  4. 舊主隔離:防腦裂 (STONITH、只讀模式、殺進程)

四、負載均衡策略

策略原理適用場景缺點
隨機從可用 Slave 列表隨機選一同構硬件、低併發忽略機器性能差異
加權隨機按權重 (CPU/內存/IOPS 基準分) 概率選擇異構硬件集群靜態權重無法感知實時負載
最少連接選擇當前活躍連接數最少的 Slave查詢耗時差異大需實時採集連接數
延遲感知優先選擇 Seconds_Behind_Master=0 的 Slave強一致讀需求可能導致部分 Slave 閒置
一致性哈希同一 uid 固定路由到同一 Slave (會話親和性)緩存命中率優化熱點風險

五、節點可用性探測機制

1. 主動探測

  • 間隔 1-5s 發起 TCP 連接 / SELECT 1 / SHOW SLAVE STATUS
  • 連續 N 次失敗 → 標記不可用、從路由表剔除
  • 恢復探測成功 M 次 → 重新加入

2. 被動推送 (DBA/監控系統主動通知)

  • 監控系統檢測到實例異常 → API 推送給 DDAL 客戶端
  • 客戶端本地緩存狀態立即生效,無需等待心跳週期
  • 適合計劃內維護、緊急下線

3. 混合模式 (推薦)

主動心跳作為基線,被動推送作為加速器,雙重保障。

六、讀寫分離架構


          +------------------+
          |  應用 / DDAL客戶端 |
          +--------+---------+
                   |
         +---------v----------+
         |   負載均衡器/LB    |  (ProxySQL / MyCat / ShardingSphere-Proxy / VIP)
         +---------+----------+
                   |
       +-----------+-----------+
       |                       |
  +----v----+             +----v----+
  | Master  |             | Slave 1 |
  | (寫/強讀)|             | (弱讀)  |
  +----+----+             +----+----+
       |                       |
       |  半同步/GTID 復制      |
       +-----------------------+

關鍵決策點

  • 寫操作/強一致讀 → 路由至 Master
  • 普通 SELECT → LB 策略選 Slave
  • 事務中包含寫入 → 整個事務路由 Master (避免主從延遲導致事務內讀不到剛寫數據)
  • 延遲容忍度標記:應用標註 @ReadConsistency(WEAK) 或 STRONG

七、擴容遷移:最小化數據遷移量

問題

Hash 取模擴容 (N→2N) 需遷移 50% 數據;範圍分片擴容需重新劃分邊界。

解決方案:一致性哈希 + 虛擬節點


環形哈希空間 [0, 2^32-1]
物理節點 A, B, C 映射為 100 個虛擬節點均勻分布
新增節點 D → 僅影響順時針方向下一個虛擬節點範圍的數據
遷移量 ≈ 1/(原虛擬節點總數) ≈ 1-2%

遷移實施步驟

  1. 雙寫期:應用同時寫新舊分片,舊分片數據同步至新分片 (Binlog 同步/數據校驗)
  2. 驗證期:讀流量逐步切分 (灰度 10% → 50% → 100%),對比結果一致性
  3. 切換期:切換路由配置,下線舊分片
  4. 回滾預案:保留舊分片 48h,隨時可逆向切換

八、分布式事務處理

  • 避免分布式事務:業務設計階段保證單分片事務 (同 uid 訂單、用戶、賬戶落同分片)
  • 柔性事務:TCC (Try-Confirm-Cancel)、SAGA、本地消息表、事務消息 (RocketMQ)
  • 強一致需求極少:引入分布式事務中間件 (Seata AT 模式) 或 NewSQL (TiDB、OceanBase)

九、總結

MySQL 海量數據架構核心在於:**分片鍵選對、路由算法定型、集群高可用自動化、負載均衡感知業務、探測機制雙重保障、讀寫分離語義清晰、擴容遷移平滑可逆**。DDAL 不是銀彈,而是將分佈式複雜性內隱在中間層,暴露單表語義給上層應用。架構演進路線:單庫 → 主從 → 分庫分表 → 分布式事務 → NewSQL/雲原生數據庫。每一步都由業務增長倒逼,技術服務業務,切勿過度設計。

copyright © 萬盛學電腦網 all rights reserved