面對日均億級 PV、TB 級數據增長,單機 MySQL 早已觸及 IOPS、CPU、網絡、存儲容量的物理上限。水平擴展 —— 通過分庫分表將數據分散到多個物理節點,配合讀寫分離、集群高可用、負載均衡、故障探測 —— 成為大型互聯網架構標配。本文系統闡述分布式數據訪問層 (DDAL) 核心設計:切分維度、路由算法、集群模型、負載策略、可用性探測、讀寫分離、擴容遷移。
| 痛點 | 單機極限 | 分庫分表收益 |
|---|---|---|
| 存儲容量 | 單機磁盤 10-20TB | 橫向無限擴展 |
| 寫入吞吐 | 單主序列化瓶頸 | 多主並行寫入 |
| 讀取吞吐 | 單機連接數/內存限制 | 多從並行讀取 + 緩存 |
| 故障域 | 單點故障 = 全業務不可用 | 單分片故障僅影響 1/N 流量 |
| 備份恢復 | TB 級備份耗時數小時 | 分片並行備份,單分片分鐘級恢復 |
-- uid 1-10000 → DB1, 10001-20000 → DB2
-- 優點:範圍查詢友好、部分遷移易 (整段移動)
-- 缺點:數據傾斜 (新用戶集中寫入最新分片)、擴容需重新劃分範圍
-- db_index = hash(uid) % N
-- 優點:數據極度均勻、擴容只需調整 N
-- 缺點:擴容時數據遷移量大 (Consistent Hash 可緩解)、範圍查詢需廣播
-- 獨立 config_db 存儲 uid → db_id 映射
-- 優點:極致靈活、一對一精準控制、異構分片
-- 缺點:每次查詢額外 1 次 RPC/DB 訪問、配置表成單點 (需高可用)
+------------------+ +------------------+
| 用戶庫 | | 訂單庫 |
| uid % 8 → 8分片 | | uid % 8 → 8分片 | -- 同分片鍵,保證單分片事務
+------------------+ +------------------+
| 日志庫 | | 商品庫 |
| date → 月分表 | | category_id → 16分片 |
+------------------+ +------------------+
每個分片 = 1 個 **Group (集群)**,內部 1 主 N 從:
Group 1 (分片 1) Group 2 (分片 2)
+-----------+ +-----------+
| Master 1 | <--binlog-->| Master 2 | (可選雙主或 MGR)
+-----------+ +-----------+
| ^ | ^
| | 半同步/GTID | |
v | v |
+-----------+ +-----------+
| Slave 1-1 | | Slave 2-1 |
+-----------+ +-----------+
| |
v v
+-----------+ +-----------+
| Slave 1-2 | | Slave 2-2 |
+-----------+ +-----------+
| 策略 | 原理 | 適用場景 | 缺點 |
|---|---|---|---|
| 隨機 | 從可用 Slave 列表隨機選一 | 同構硬件、低併發 | 忽略機器性能差異 |
| 加權隨機 | 按權重 (CPU/內存/IOPS 基準分) 概率選擇 | 異構硬件集群 | 靜態權重無法感知實時負載 |
| 最少連接 | 選擇當前活躍連接數最少的 Slave | 查詢耗時差異大 | 需實時採集連接數 |
| 延遲感知 | 優先選擇 Seconds_Behind_Master=0 的 Slave | 強一致讀需求 | 可能導致部分 Slave 閒置 |
| 一致性哈希 | 同一 uid 固定路由到同一 Slave (會話親和性) | 緩存命中率優化 | 熱點風險 |
SELECT 1 / SHOW SLAVE STATUS主動心跳作為基線,被動推送作為加速器,雙重保障。
+------------------+
| 應用 / DDAL客戶端 |
+--------+---------+
|
+---------v----------+
| 負載均衡器/LB | (ProxySQL / MyCat / ShardingSphere-Proxy / VIP)
+---------+----------+
|
+-----------+-----------+
| |
+----v----+ +----v----+
| Master | | Slave 1 |
| (寫/強讀)| | (弱讀) |
+----+----+ +----+----+
| |
| 半同步/GTID 復制 |
+-----------------------+
@ReadConsistency(WEAK) 或 STRONGHash 取模擴容 (N→2N) 需遷移 50% 數據;範圍分片擴容需重新劃分邊界。
環形哈希空間 [0, 2^32-1]
物理節點 A, B, C 映射為 100 個虛擬節點均勻分布
新增節點 D → 僅影響順時針方向下一個虛擬節點範圍的數據
遷移量 ≈ 1/(原虛擬節點總數) ≈ 1-2%
MySQL 海量數據架構核心在於:**分片鍵選對、路由算法定型、集群高可用自動化、負載均衡感知業務、探測機制雙重保障、讀寫分離語義清晰、擴容遷移平滑可逆**。DDAL 不是銀彈,而是將分佈式複雜性內隱在中間層,暴露單表語義給上層應用。架構演進路線:單庫 → 主從 → 分庫分表 → 分布式事務 → NewSQL/雲原生數據庫。每一步都由業務增長倒逼,技術服務業務,切勿過度設計。