MySQL 5.6+ 原生支持 InnoDB 全文索引,但**僅對拉丁語系(空格分詞)有效**,中文無分隔符導致原生 FULLTEXT 無法直接使用。本文系統分析原生限制、介紹 SCWS 中文分詞插件集成方案、並給出生產級工程化建議(ES/外部搜索引擎)。
WITH PARSER ngram),按固定長度切分(默認 2-gram),但**語義精度低**,無法識別實體詞(人名、地名、專有名詞)。應用層或觸發器將中文文本經分詞器切分後,以空格拼接存入專用列,再對該列建立 FULLTEXT 索引。
ALTER TABLE articles ADD COLUMN body_tokens TEXT; ALTER TABLE articles ADD FULLTEXT INDEX ft_body_tokens (body_tokens) WITH PARSER ngram;(或默認解析器)。body_tokens。SELECT * FROM articles WHERE MATCH(body_tokens) AGAINST('火星 時代' IN BOOLEAN MODE);
# 1. 下載編譯安裝 SCWS C 庫
wget https://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2
tar xjf scws-1.2.3.tar.bz2 && cd scws-1.2.3
./configure --prefix=/usr/local/scws && make && make install
# 2. 安裝 PHP 擴展
cd phpext
phpize
./configure --with-scws=/usr/local/scws --with-php-config=/usr/bin/php-config
make && make install
# 3. 配置 php.ini
extension=scws.so
scws.default.charset=utf-8
scws.default.fpath=/usr/local/scws/etc/dict.utf8.xdb
scws.default.rpath=/usr/local/scws/etc/rules.utf8.ini
set_charset('utf-8');
$so->set_dict('/usr/local/scws/etc/dict.utf8.xdb');
$so->set_rule('/usr/local/scws/etc/rules.utf8.ini');
$so->set_ignore(true); // 去標點
$so->set_multi(true); // 復式分割:中國人 -> 中國 + 人 + 中國人
$so->set_duality(true); // 雙字聚合
$so->send_text('歡迎來到火星時代IT開發');
while ($token = $so->get_result()) {
// $token: array('word'=>'火星時代', 'idf'=>3.2, 'attr'=>'n', 'off'=>3, 'len'=>4)
echo $token['word'] . ' ';
}
$so->close();
當數據量 > 千萬、需求包含**模糊匹配、拼音搜索、同義詞擴展、多維度過濾、實時索引、高併發查詢**時,MySQL FULLTEXT 已無法滿足,建議引入專業搜索引擎:
| 方案 | 特點 | 適用階段 |
|---|---|---|
| Elasticsearch / OpenSearch | 分布式、近實時、豐富查詢 DSL、IK/THULAC 中文分詞插件生態成熟 | 中大型業務、標準選型 |
| Apache Solr | 成熟穩定、Zookeeper 協調、功能全面 | 傳統企業級搜索平台 |
| Meilisearch / Typesense | 輕量、開箱即用、內置中文分詞、REST API 友好 | 中小項目、快速交付 |
| ClickHouse + 全文索引 | OLAP 引擎,適合大寬表日誌/行為分析 | 分析型搜索場景 |
-- 建表指定 ngram_token_size(默認 2,可設 1-10)
CREATE TABLE articles (
id INT PRIMARY KEY,
body TEXT,
FULLTEXT INDEX ft_body (body) WITH PARSER ngram
) ENGINE=InnoDB;
-- 查看 ngram 參數
SHOW VARIABLES LIKE 'ngram_token_size';
-- 動態調整(需重啟)
SET GLOBAL ngram_token_size = 3;
較大 ngram_token_size 減少索引體積但降低召回率,需業務權衡。
MySQL 原生 FULLTEXT 不適合中文直接搜索。輕量級可採用「寫入時預分詞 + ngram/FULLTEXT」;工程化請引入 Elasticsearch 等專業搜索引擎,通過 Binlog 異步同步實現讀寫分離與豐富檢索能力。選型核心:數據量、查詢複雜度、實時性要求、團隊維護能力。