本文記錄針對 2.4 億條股票行情數據的 MySQL Cluster (NDB) 並發讀取壓測結果,並分享一套支撐億級索引、高併發、準實時更新的搜索引擎架構設計。
| 項目 | 配置 |
|---|---|
| 客戶端 | Intel Core i5 3.10GHz, 4GB RAM, Win7, JDK 1.8 |
| MySQL 集群 | 9 台伺服器, MySQL 5.6.25 Community, NDB Cluster 引擎 |
| 測試表 | TAQ_201504, 2.4 億行, 50 欄位, 組合索引 (SECCODE, TDATE, TTIME) 存內存 |
表結構採用 ENGINE=ndbcluster,主鍵為組合索引,適合高併發點查詢。
分別以 10、20、50、100 線程併發測試,指標為資料從集群讀取至客戶端本地記憶體的響應時間。
SELECT CP FROM TAQ_201504 WHERE SECCODE='000001' AND TDATE='20150401';
結果:20-50 線程響應 < 3 秒,滿足需求;100 線程明顯變慢(部分因客戶端線程切換開銷)。
SELECT CP FROM TAQ_201504 WHERE SECCODE IN ('000005','600010',...);
結果:響應達分鐘級(1-3 分鐘)。異常主要受限於單機測試的存儲/記憶體瓶頸,非資料庫極限。
SELECT CP FROM TAQ_201504 WHERE TTIME='145910';
結果:響應 10 分鐘以上,隨返回字段增加線性增長。未測 50/100 線程(耗時過長)。
SELECT CP FROM TAQ_201504 WHERE TDATE='20150409' AND TTIME='145910';
結果:頻繁拋出 Got error 4008 'Receive from NDB failed',統計時間約 30 分鐘(含異常提前中斷偏差)。主因:全表掃描耗時過長導致 NDB 連線超時,加上單機線程切換開銷。
針對 MySQL 全文搜索效能瓶頸,設計一套基於 Sphinx + Tokyo Tyrant + MySQL 的混合架構,實測單機 7000 萬索引下查詢均速 0.0XX 秒,支撐 5000 併發;索引更新吞吐 1500 Req/Sec。

search.phpsearch.php 調用 Sphinx API (C 擴展 sphinx.so) 查詢索引,獲取 15 位唯一 ID 列表mget 取回文本資料update.php| 組件 | 版本 | 角色 |
|---|---|---|
| Sphinx | 0.9.9-rc1 | 全文索引引擎,極快建索引速度 (比 Lucene 快 9 倍+) |
| Tokyo Tyrant | 1.1.9 | 高效能 KV 存儲,兼容 Memcache 協議,兼作高速佇列 |
| MySQL | 5.1.30 | 永久備份 (主表分區) + 增量表 (索引源) |
| Nginx | 0.7.22 | Web 伺服器/反向代理 |
| PHP | 5.2.6 | 業務邏輯層 |
search.php)update.php)sphinx.so)MySQL Cluster 在點查場景表現優異,但大掃描場景非其強項。引入專業搜索引擎 (Sphinx) 配合高效能 KV 存儲 (Tokyo Tyrant) 與異步佇列機制,可構建支撐億級數據、高併發、準實時更新的搜索服務,有效補足關係型資料庫在全文檢索與大範圍分析查詢上的短板。