mysql數據庫分表方法總結(1/2)

本文章介紹了mysql數據庫分表方法總結，有需要做數據庫分表的朋友可參考本文章。

一，先說一下為什麼要分表

當一張的數據達到幾百萬時，你查詢一次所花的時間會變多，如果有聯合查詢的話，我想有可能會死在那兒了。分表的目的就在於此，減小數據庫的負擔，縮短查詢時間。

根據個人經驗，mysql執行一個sql的過程如下：
1,接收到sql;

2,把sql放到排隊隊列中 ;

3,執行sql;

4,返回執行結果。

在這個執行過程中最花時間在什麼地方呢？第一，是排隊等待的時間，第二，sql的執行時間。其實這二個是一回事，等待的同時，肯定有sql在執行。所以我們要縮短sql的執行時間。

mysql中有一種機制是表鎖定和行鎖定，為什麼要出現這種機制，是為了保證數據的完整性，我舉個例子來說吧，如果有二個sql都要修改同一張表的同一條數據，這個時候怎麼辦呢，是不是二個sql都可以同時修改這條數據呢？很顯然mysql對這種情況的處理是，一種是表鎖定（myisam存儲引擎），一個是行鎖定（innodb存儲引擎）。表鎖定表示你們都不能對這張表進行操作，必須等我對表操作完才行。行鎖定也一樣，別的sql必須等我對這條數據操作完了，才能對這條數據進行操作。如果數據太多，一次執行的時間太長，等待的時間就越長，這也是我們為什麼要分表的原因。

 

二，分表

1，做mysql集群，例如：利用mysql cluster ，mysql proxy，mysql replication，drdb等等

有人會問mysql集群，跟分表有什麼關系嗎？雖然它不是實際意義上的分表，但是它啟到了分表的作用，做集群的意義是什麼呢？為一個數據庫減輕負擔，說白了就是減少sql排隊隊列中的sql的數量，舉個例子：有10個sql請求，如果放在一個數據庫服務器的排隊隊列中，他要等很長時間，如果把這10個sql請求，分配到5個數據庫服務器的排隊隊列中，一個數據庫服務器的隊列中只有2個，這樣等待時間是不是大大的縮短了呢？這已經很明顯了。所以我把它列到了分表的范圍以內，我做過一些mysql的集群：

linux mysql proxy 的安裝，配置，以及讀寫分離

mysql replication 互為主從的安裝及配置，以及數據同步

優點：擴展性好，沒有多個分表後的復雜操作（php代碼）

缺點：單個表的數據量還是沒有變，一次操作所花的時間還是那麼多，硬件開銷大。

2，預先估計會出現大數據量並且訪問頻繁的表，將其分為若干個表

這種預估大差不差的，論壇裡面發表帖子的表，時間長了這張表肯定很大，幾十萬，幾百萬都有可能。 聊天室裡面信息表，幾十個人在一起一聊一個晚上，時間長了，這張表的數據肯定很大。像這樣的情況很多。所以這種能預估出來的大數據量表，我們就事先分出個N個表，這個N是多少，根據實際情況而定。以聊天信息表為例：

我事先建100個這樣的表，message_00,message_01,message_02..........message_98,message_99.然後根據用戶的ID來判斷這個用戶的聊天信息放到哪張表裡面，你可以用hash的方式來獲得，可以用求余的方式來獲得，方法很多，各人想各人的吧。下面用hash的方法來獲得表名：

代碼

 代碼如下 復制代碼 <?php
function get_hash_table($table,$userid) {
   $str = crc32($userid);
   if($str<0){
   $hash = "0".substr(abs($str), 0, 1);
   }else{
   $hash = substr($str, 0, 2);
   }
    
   return $table."_".$hash;
}
    
echo get_hash_table('message','user18991'); //結果為message_10
echo get_hash_table('message','user34523'); //結果為message_13
?>

說明一下，上面的這個方法，告訴我們user18991這個用戶的消息都記錄在message_10這張表裡，user34523這個用戶的消息都記錄在message_13這張表裡，讀取的時候，只要從各自的表中讀取就行了。

優點：避免一張表出現幾百萬條數據，縮短了一條sql的執行時間

缺點：當一種規則確定時，打破這條規則會很麻煩，上面的例子中我用的hash算法是crc32，如果我現在不想用這個算法了，改用md5後，會使同一個用戶的消息被存儲到不同的表中，這樣數據亂套了。擴展性很差。

3，利用merge存儲引擎來實現分表

我覺得這種方法比較適合，那些沒有事先考慮，而已經出現了得，數據查詢慢的情況。這個時候如果要把已有的大數據量表分開比較痛苦，最痛苦的事就是改代碼，因為程序裡面的sql語句已經寫好了，現在一張表要分成幾十張表，甚至上百張表，這樣sql語句是不是要重寫呢？舉個例子，我很喜歡舉子

mysql>show engines;的時候你會發現mrg_myisam其實就是merge。

代碼

 代碼如下 復制代碼 mysql> CREATE TABLE IF NOT EXISTS `user1` (
   -> `id` int(11) NOT NULL AUTO_INCREMENT,
   -> `name` varchar(50) DEFAULT NULL,
   -> `sex` int(1) NOT NULL DEFAULT '0',
   -> PRIMARY KEY (`id`)
   -> ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;
Query OK, 0 rows affected (0.05 sec)
    
mysql> CREATE TABLE IF NOT EXISTS `user2` (
   -> `id` int(11) NOT NULL AUTO_INCREMENT,
   -> `name` varchar(50) DEFAULT NULL,
   -> `sex` int(1) NOT NULL DEFAULT '0',
   -> PRIMARY KEY (`id`)
   -> ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;
Query OK, 0 rows affected (0.01 sec)
    
mysql> INSERT INTO `user1` (`name`, `sex`) VALUES('張映', 0);
Query OK, 1 row affected (0.00 sec)
    
mysql> INSERT INTO `user2` (`name`, `sex`) VALUES('tank', 1);
Query OK, 1 row affected (0.00 sec)
    
mysql> CREATE TABLE IF NOT EXISTS `alluser` (
   -> `id` int(11) NOT NULL AUTO_INCREMENT,
   -> `name` varchar(50) DEFAULT NULL,
   -> `sex` int(1) NOT NULL DEFAULT '0',
   -> INDEX(id)
   -> ) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1 ;
Query OK, 0 rows affected, 1 warning (0.00 sec)
    
mysql> select id,name,sex from alluser;
+----+--------+-----+
| id | name | sex |
+----+--------+-----+
| 1 | 張映 | 0 |
| 1 | tank | 1 |
+----+--------+-----+
2 rows in set (0.00 sec)
    
mysql> INSERT INTO `alluser` (`name`, `sex`) VALUES('tank2', 0);
Query OK, 1 row affected (0.00 sec)
    
mysql> select id,name,sex from user2
   -> ;
+----+-------+-----+
| id | name | sex |
+----+-------+-----+
| 1 | tank | 1 |
| 2 | tank2 | 0 |
+----+-------+-----+
2 rows in set (0.00 sec)

首頁 1 2 末頁