MySQL 內置全文檢索 (Full-Text Search) 早期僅支持以空格分詞的拉丁語系語言,對中文、日文、韓文 (CJK) 等無分隔符語言原生不支持。這迫使開發者長期依賴 LIKE '%關鍵詞%' (全表掃描、性能差、語義模糊) 或引入外部搜索引擎 (Elasticsearch、Solr、Sphinx、Meilisearch)。本文系統梳理 MySQL 中文全文檢索的演進歷程:內置局限 → 第三方插件 (MySQL 5.1+ 插件式解析器) → 內置 ngram 解析器 (MySQL 5.7.6+) → 外部引擎協同,並提供工程化選型決策矩陣與遷移實戰建議。
mysql-chinese (商業)、scws (簡單中文分詞系統、開源)、lib_mysqludf_preg (正則分詞)。plugin_parse,註冊自定義解析器 cn_parser,建表指定 FULLTEXT(...) WITH PARSER cn_parser。# 1. 下載匹配版本插件 (如 mysql-chplus-5.0.37-linux-i686.tar.gz)
# 2. 解壓、鏈接、安裝數據庫
groupadd mysql; useradd -g mysql mysql
cd /usr/local
tar xzf mysql-chplus-5.0.37-linux-i686.tar.gz
ln -s mysql-chplus-5.0.37 mysql
cd mysql
scripts/mysql_install_db --user=mysql
chown -R mysql data; chown -R mysql .
/usr/local/mysql/bin/mysqld_safe --user=mysql &
# 3. 載入插件、建表
INSTALL PLUGIN cn_parser SONAME 'seg.so';
CREATE TABLE t (c VARCHAR(255), FULLTEXT (c) WITH PARSER cn_parser) DEFAULT CHARSET gbk;
INSERT INTO t VALUES ('測試中文'), ('老師說明天開會');
SELECT MATCH(c) AGAINST('說明'), c FROM t; -- 返回相關度分數
ngram_token_size=2,即二元圖)。如「數據庫」→「數據」「據庫」。my.cnf 中 [mysqld] ngram_token_size=2 (範圍 1-10,2-3 適合中文)。CREATE TABLE articles (id INT, body TEXT, FULLTEXT(body) WITH PARSER ngram) ENGINE=InnoDB;mecab-ipadic-neologd),配置複雜度較高,生產環境較少直接用於中文。| 方案 | 語言 | 授權 | 維護狀態 | 特點 | 推薦指數 |
|---|---|---|---|---|---|
| ngram (內置) | 多語言 | GPL | 官方維護 | 零部署、通用、索引大、精度中 | ⭐⭐⭐⭐ (首選基線) |
| MeCab (內置) | 日語/中文 | GPL/BSD | 官方維護 | 日語強、中文需自建詞典 | ⭐⭐ (中文慎用) |
| jieba (Python) | 中文 | MIT | 活躍 | 生態豐富、非 MySQL 插件、需應用層分詞入庫 | ⭐⭐⭐ (應用層方案) |
| SCWS (C庫) | 中文 | BSD | 低維護 | 早期經典、MySQL 插件形式、久未更新 | ⭐ (不推薦新項目) |
| Elasticsearch + IK | 中文 | Apache 2.0 | 極度活躍 | 專業搜索引擎、分詞精準、功能豐富、架構分離 | ⭐⭐⭐⭐⭐ (專業選型) |
| Meilisearch | 多語言 | MIT | 極度活躍 | 輕量、開箱即用、內置中文分詞、REST API、適合中小項目 | ⭐⭐⭐⭐ (現代輕量選擇) |
| Typesense | 多語言 | GPLv3 | 活躍 | 高性能、容錯、即時、內置中文 | ⭐⭐⭐⭐ (高性能選擇) |
根據項目規模、團隊能力、業務複雜度決策:
適用:數據量 < 1000 萬、查詢 QPS < 100、搜索需求基礎 (關鍵詞匹配、排序)、團隊無運維 Elasticsearch 能力、預算極低。
實施要點:
-- 1. 配置 my.cnf
[mysqld]
ngram_token_size=2
-- 2. 建表
CREATE TABLE docs (
id BIGINT PRIMARY KEY AUTO_INCREMENT,
title VARCHAR(200),
content TEXT,
FULLTEXT(title, content) WITH PARSER ngram
) ENGINE=InnoDB;
-- 3. 查詢 (自然語言模式)
SELECT *, MATCH(title, content) AGAINST('數據庫優化' IN NATURAL LANGUAGE MODE) AS score
FROM docs
WHERE MATCH(title, content) AGAINST('數據庫優化' IN NATURAL LANGUAGE MODE)
ORDER BY score DESC LIMIT 20;
-- 4. 布爾模式 (精確控制)
SELECT * FROM docs
WHERE MATCH(content) AGAINST('+數據庫 -優化' IN BOOLEAN MODE); -- 必含數據庫、排除優化
原理:應用層用 jieba/scws 分詞,寫入 doc_terms (doc_id, term, position) 表,查詢時 JOIN 聚合。
優勢:分詞邏輯可控、可自定義詞典/停用詞、無 MySQL 版本綁定、可複用於其他存儲。
適用:中等規模、有開發能力、需精準分詞、不想引入重組件。
觸發條件 (任一即可):
架構模式:MySQL 為主存儲 (寫入源) → Binlog/CDC (Canal/Debezium) → 同步至搜索引擎 → 搜索請求走引擎,詳情回 MySQL。
-- 找出所有 LIKE '%...%' 查詢
SELECT * FROM information_schema.PROCESSLIST WHERE INFO LIKE '%LIKE %%%%';
-- 分析表大小、查詢頻率、SLA
-- 新建測試表,同步數據
CREATE TABLE docs_ft LIKE docs;
ALTER TABLE docs_ft ADD FULLTEXT(content) WITH PARSER ngram;
-- 對比查詢結果、性能、相關性
-- 自然語言模式 vs 布爾模式 vs LIKE
INSERT ... SELECT 或工具同步。ft_stopword_file 指定自定義文件 (每行一詞)。ft_min_word_len 對 ngram 無效,ngram 由 ngram_token_size 控制。+ - > < ~ * 精準控制。MySQL 中文全文檢索已從「不可用」進化為「內置 ngram 可用、專業引擎強勁」的完整光譜。沒有銀彈,只有權衡:
技術選型本質是業務價值、團隊能力、運維成本的三角平衡。願這份演進圖譜助你做出最適合當下的決策。