傳統 SQL LIKE '%query%' 只能做前綴/後綴匹配,無法理解語義權重。隨著資料量增長,MySQL 全文索引效能瓶頸明顯,業界轉向 ElasticSearch(Lucene 核心)等專業搜尋引擎。理解其核心算法——TF-IDF 與 Okapi BM25,有助於優化搜尋體驗、甚至自建輕量搜尋服務。
搜尋引擎為每份文檔計算「相關分數」,按分數排序而非時間排序,確保最相關結果優先展示。統計型算法不依賴語言語法,而是透過詞頻、文檔頻率等統計特徵量化相關性。
某詞在單一文檔中出現次數。公式:
TF(term, doc) = (術語在文檔中出現次數) / (文檔總術語數)
例:文檔共 100 詞,「the」出現 8 次 → TF = 0.08。
衡量詞語稀有度。公式:
IDF(term) = log( 總文檔數 / 包含該詞的文檔數 )
越稀有的詞(如專有名詞),IDF 越高;常用詞(如「的」、「是」)IDF 極低。
Weight = TF × IDF。查詢時,對每個關鍵字計算 TF-IDF 並求和,總分最高者最相關。
TF-IDF 缺乏「飽和度」與「長度歸一化」機制,BM25 引入兩個可調參數修正:
同一詞出現 40 次與 80 次的文檔,相關度差異不應過大。BM25 透過參數 k1(通常 1.2~2.0)控制飽和曲線,避免長文檔因堆砌關鍵字而佔優。
參數 b(0~1)將文檔長度歸一化至平均長度。b=1 完全歸一化,b=0 不歸一化。對多欄位(標題、內文)搜尋尤為重要。
BM25.Tokenize = function(text) {
return text
.toLowerCase()
.replace(/\W/g, ' ')
.replace(/\s+/g, ' ')
.trim()
.split(' ')
.map(stemmer) // Porter Stemmer 詞幹提取
.filter(token => stopStems.indexOf(token) === -1); // 過濾停用詞
};
BM25.prototype.addDocument = function(doc) {
if (!doc.id) throw new Error('文檔必須包含 id');
if (!doc.body) throw new Error('文檔必須包含 body');
const tokens = BM25.Tokenize(doc.body);
// 統計詞頻、更新倒排索引、計算文檔長度等...
// 完整實作需維護:this.documents, this.invertedIndex, this.docLengths, this.avgDocLength
};
BM25.prototype.score = function(query, docId) {
const queryTokens = BM25.Tokenize(query);
let score = 0;
for (const token of queryTokens) {
const tf = this.getTermFrequency(token, docId);
const idf = this.getInverseDocumentFrequency(token);
const docLen = this.docLengths[docId];
const avgLen = this.avgDocLength;
// BM25 公式核心
const numerator = tf * (this.k1 + 1);
const denominator = tf + this.k1 * (1 - this.b + this.b * (docLen / avgLen));
score += idf * (numerator / denominator);
}
return score;
};
TF-IDF 奠定統計相關性基礎,Okapi BM25 透過飽和度與長度歸一化解決實際搜尋偏差,成為 Lucene/ElasticSearch 預設排名算法。理解其數學原理與實作細節,能幫助開發者更精準地調校搜尋體驗,或在無法引入重型搜尋引擎時,自行實現輕量級全文搜尋功能。