萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> MySQL 教學

MySQL 中文全文搜索實戰:原生 FULLTEXT 限制、SCWS 分詞插件與工程化方案

前言

MySQL 5.6+ 原生支持 InnoDB 全文索引,但**僅對拉丁語系(空格分詞)有效**,中文無分隔符導致原生 FULLTEXT 無法直接使用。本文系統分析原生限制、介紹 SCWS 中文分詞插件集成方案、並給出生產級工程化建議(ES/外部搜索引擎)。

一、原生 FULLTEXT 對中文的局限

  • MySQL FULLTEXT 依賴**內置分詞器**,按空格、標點、換行符切分詞彙。
  • 中文句子「歡迎來到火星時代IT開發」無空格,整句被視為**單一詞彙**,搜索「火星時代」無命中。
  • 5.6+ InnoDB FULLTEXT 支持 ngram 解析器(WITH PARSER ngram),按固定長度切分(默認 2-gram),但**語義精度低**,無法識別實體詞(人名、地名、專有名詞)。

二、變通方案:寫入時預分詞 + 原生 FULLTEXT

原理

應用層或觸發器將中文文本經分詞器切分後,以空格拼接存入專用列,再對該列建立 FULLTEXT 索引。

實現步驟

  1. 建表:ALTER TABLE articles ADD COLUMN body_tokens TEXT; ALTER TABLE articles ADD FULLTEXT INDEX ft_body_tokens (body_tokens) WITH PARSER ngram;(或默認解析器)。
  2. 寫入時:調用分詞器(SCWS、jieba、THULAC 等)獲取詞彙列表,用空格拼接寫入 body_tokens。
  3. 查詢:SELECT * FROM articles WHERE MATCH(body_tokens) AGAINST('火星 時代' IN BOOLEAN MODE);

優缺點

  • ✅ 無需外部組件,純 MySQL 內部完成。
  • ❌ 寫入延遲增加、存儲膨脹(原文+分詞文)、分詞質量依賴外部分詞器準確率、無法利用 MySQL 內置排序相關性算法(BM25)。

三、SCWS (Simple Chinese Word Segmentation) PHP 擴展集成

安裝步驟


# 1. 下載編譯安裝 SCWS C 庫
wget https://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2
tar xjf scws-1.2.3.tar.bz2 && cd scws-1.2.3
./configure --prefix=/usr/local/scws && make && make install

# 2. 安裝 PHP 擴展
cd phpext
phpize
./configure --with-scws=/usr/local/scws --with-php-config=/usr/bin/php-config
make && make install

# 3. 配置 php.ini
extension=scws.so
scws.default.charset=utf-8
scws.default.fpath=/usr/local/scws/etc/dict.utf8.xdb
scws.default.rpath=/usr/local/scws/etc/rules.utf8.ini

PHP 代碼示例

set_charset('utf-8');
$so->set_dict('/usr/local/scws/etc/dict.utf8.xdb');
$so->set_rule('/usr/local/scws/etc/rules.utf8.ini');
$so->set_ignore(true);      // 去標點
$so->set_multi(true);       // 復式分割:中國人 -> 中國 + 人 + 中國人
$so->set_duality(true);     // 雙字聚合

$so->send_text('歡迎來到火星時代IT開發');
while ($token = $so->get_result()) {
    // $token: array('word'=>'火星時代', 'idf'=>3.2, 'attr'=>'n', 'off'=>3, 'len'=>4)
    echo $token['word'] . ' ';
}
$so->close();

SCWS 特性

  • 詞典基於頻率統計,包含專有名詞、人名、地名、數字年代規則。
  • 準確率 90-95%,滿足大多數業務搜索需求。
  • 純 C 實現,性能高,適合 PHP 實時分詞。

四、生產級架構建議:外部搜索引擎

當數據量 > 千萬、需求包含**模糊匹配、拼音搜索、同義詞擴展、多維度過濾、實時索引、高併發查詢**時,MySQL FULLTEXT 已無法滿足,建議引入專業搜索引擎:

方案特點適用階段
Elasticsearch / OpenSearch分布式、近實時、豐富查詢 DSL、IK/THULAC 中文分詞插件生態成熟中大型業務、標準選型
Apache Solr成熟穩定、Zookeeper 協調、功能全面傳統企業級搜索平台
Meilisearch / Typesense輕量、開箱即用、內置中文分詞、REST API 友好中小項目、快速交付
ClickHouse + 全文索引OLAP 引擎,適合大寬表日誌/行為分析分析型搜索場景

五、數據同步模式

  • 雙寫:應用寫 MySQL 同時寫 ES(簡單但耦合強、一致性難保證)。
  • Binlog 訂閱 (Canal/Maxwell/Debezium) → Kafka → ES:解耦、最終一致性、高吞吐、推薦生產環境。
  • 定時全量/增量同步腳本:簡單場景可接受分鐘級延遲。

六、MySQL 8.0 新特性:ngram 解析器參數調優


-- 建表指定 ngram_token_size(默認 2,可設 1-10)
CREATE TABLE articles (
  id INT PRIMARY KEY,
  body TEXT,
  FULLTEXT INDEX ft_body (body) WITH PARSER ngram
) ENGINE=InnoDB;

-- 查看 ngram 參數
SHOW VARIABLES LIKE 'ngram_token_size';
-- 動態調整(需重啟)
SET GLOBAL ngram_token_size = 3;

較大 ngram_token_size 減少索引體積但降低召回率,需業務權衡。

總結

MySQL 原生 FULLTEXT 不適合中文直接搜索。輕量級可採用「寫入時預分詞 + ngram/FULLTEXT」;工程化請引入 Elasticsearch 等專業搜索引擎,通過 Binlog 異步同步實現讀寫分離與豐富檢索能力。選型核心:數據量、查詢複雜度、實時性要求、團隊維護能力。

copyright © 萬盛學電腦網 all rights reserved