Cobar基於MySQL的分布式數據庫服務中間件

通過數據水平拆分，並行計算與分布式事務等核心技術，實現海量數據高效處理與分析,下面我們來看一篇關於Cobar基於MySQL的分布式數據庫服務中間件的例子。 Cobar是阿裡巴巴研發的關系型數據的分布式處理系統，是提供關系型數據庫（MySQL）分布式服務的中間件，該產品成功替代了原先基於Oracle的數據存儲方案，它可以讓傳統的數據庫得到良好的線性擴展，並看上去還是一個數據庫,對應用保持透明。

 

• 產品在阿裡巴巴穩定運行3年以上。


• 接管了3000+個MySQL數據庫的schema。


• 集群日處理在線SQL請求50億次以上。


• 集群日處理在線數據流量TB級別以上。

 

Cobar的核心功能：

 

 

分布式：

 

Cobar的分布式主要是通過將表放入不同的庫來實現：

 

• Cobar支持將一張表水平拆分成多份分別放入不同的庫來實現表的水平拆分


• Cobar也支持將不同的表放入不同的庫


• 多數情況下，用戶會將以上兩種方式混合使用

 

要強調的是，Cobar不支持將一張表，例如test表拆分成test_1, test_2, test_3…..放在同一個庫中，必須將拆分後的表分別放入不同的庫來實現分布式。

 

HA：

 

在用戶配置了MySQL心跳的情況下，Cobar可以自動向後端連接的MySQL發送心跳，判斷MySQL運行狀況，一旦運行出現異常，Cobar可以自動切換到備機工作。需要強調的是：

 

• Cobar的主備切換有兩種觸發方式，一種是用戶手動觸發，一種是Cobar的心跳語句檢測到異常後自動觸發。那麼，當心跳檢測到主機異常，切換到備機，如果主機恢復了，需要用戶手動切回主機工作，Cobar不會在主機恢復時自動切換回主機，除非備機的心跳也返回異常。


• Cobar只檢查MySQL主備異常，不關心主備之間的數據同步，因此用戶需要在使用Cobar之前在MySQL主備上配置雙向同步，詳情可以參閱MySQL參考手冊。

 

Cobar的功能約束

 

• 不支持跨庫情況下的join、分頁、排序、子查詢操作。


• SET語句執行會被忽略，事務和字符集設置除外。


• 分庫情況下，insert語句必須包含拆分字段列名。


• 分庫情況下，update語句不能更新拆分字段的值。


• 不支持SAVEPOINT操作。


• 暫時只支持MySQL數據節點。


• 使用JDBC時，不支持rewriteBatchedStatements=true參數設置(默認為false)。


• 使用JDBC時，不支持useServerPrepStmts=true參數設置(默認為false)。


• 使用JDBC時，BLOB, BINARY, VARBINARY字段不能使用setBlob()或setBinaryStream()方法設置參數。

 

Cobar邏輯層次圖

 

 

• dataSource：數據源，表示一個具體的數據庫連接，與物理存在的數據庫schema一一對應。


• dataNode：數據節點，由主、備數據源，數據源的HA以及連接池共同組成，可以將一個dataNode理解為一個分庫。


• table：表，包括拆分表（如tb1，tb2）和非拆分表。


• tableRule：路由規則，用於判斷SQL語句被路由到具體哪些datanode執行。


• schema：cobar可以定義包含拆分表的schema（如schema1），也可以定義無拆分表的schema（如schema2）。

 

Cobar支持的數據庫結構（schema）的層次關系具有較強的靈活性，用戶可以將表自由放置不同的datanode，也可將不同的datasource放置在同一MySQL實例上。在實際應用中，需要通過配置文件（schema.xml）來定義我們需要的數據庫服務器和表的分布策略。

 

Cobar的實現原理

 

Cobar的前、後端模塊都實現了MySQL協議；當接受到SQL請求時，會依次進行解釋（SQL Parser）和路由（SQL Router）工作，然後使用SQL Executor去後端模塊獲取數據集（後端模塊還負責心跳檢測功能）；如果數據集來自多個數據源，Cobar則需要把數據集進行組合（Result Merge），最後返回響應。

 

 

Cobar采用了主流的Reactor設計模式來處理請求，並使用NIO進行底層的數據交換，這大大提升系統的負載能力。其中，NIOAcceptor用於處理前端請求，NIOConnector則用於管理後端的連接，NIOProcessor用於管理多線程事件處理，NIOReactor則用於完成底層的事件驅動機制，就是看起來和Mina和Netty的網絡模型比較相似。