萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 腳本程式專題 >> JavaScript

JavaScript 全文搜尋相關度評分核心算法:TF-IDF 與 Okapi BM25 深度解析

前言:為什麼需要全文搜尋?

傳統 SQL LIKE '%query%' 只能做前綴/後綴匹配,無法理解語義權重。隨著資料量增長,MySQL 全文索引效能瓶頸明顯,業界轉向 ElasticSearch(Lucene 核心)等專業搜尋引擎。理解其核心算法——TF-IDF 與 Okapi BM25,有助於優化搜尋體驗、甚至自建輕量搜尋服務。

核心概念:相關度評分

搜尋引擎為每份文檔計算「相關分數」,按分數排序而非時間排序,確保最相關結果優先展示。統計型算法不依賴語言語法,而是透過詞頻、文檔頻率等統計特徵量化相關性。

TF-IDF:基礎權重模型

詞頻

某詞在單一文檔中出現次數。公式:

TF(term, doc) = (術語在文檔中出現次數) / (文檔總術語數)

例:文檔共 100 詞,「the」出現 8 次 → TF = 0.08。

逆文檔頻率

衡量詞語稀有度。公式:

IDF(term) = log( 總文檔數 / 包含該詞的文檔數 )

越稀有的詞(如專有名詞),IDF 越高;常用詞(如「的」、「是」)IDF 極低。

TF-IDF 權重

Weight = TF × IDF。查詢時,對每個關鍵字計算 TF-IDF 並求和,總分最高者最相關。

Okapi BM25:產業標準排名算法

TF-IDF 缺乏「飽和度」與「長度歸一化」機制,BM25 引入兩個可調參數修正:

詞頻飽和度

同一詞出現 40 次與 80 次的文檔,相關度差異不應過大。BM25 透過參數 k1(通常 1.2~2.0)控制飽和曲線,避免長文檔因堆砌關鍵字而佔優。

欄位長度歸一化

參數 b(0~1)將文檔長度歸一化至平均長度。b=1 完全歸一化,b=0 不歸一化。對多欄位(標題、內文)搜尋尤為重要。

JavaScript 實作 BM25 核心邏輯

文本分詞與預處理

BM25.Tokenize = function(text) {
  return text
    .toLowerCase()
    .replace(/\W/g, ' ')
    .replace(/\s+/g, ' ')
    .trim()
    .split(' ')
    .map(stemmer) // Porter Stemmer 詞幹提取
    .filter(token => stopStems.indexOf(token) === -1); // 過濾停用詞
};

文檔索引建立

BM25.prototype.addDocument = function(doc) {
  if (!doc.id) throw new Error('文檔必須包含 id');
  if (!doc.body) throw new Error('文檔必須包含 body');

  const tokens = BM25.Tokenize(doc.body);
  // 統計詞頻、更新倒排索引、計算文檔長度等...
  // 完整實作需維護:this.documents, this.invertedIndex, this.docLengths, this.avgDocLength
};

評分計算

BM25.prototype.score = function(query, docId) {
  const queryTokens = BM25.Tokenize(query);
  let score = 0;

  for (const token of queryTokens) {
    const tf = this.getTermFrequency(token, docId);
    const idf = this.getInverseDocumentFrequency(token);
    const docLen = this.docLengths[docId];
    const avgLen = this.avgDocLength;

    // BM25 公式核心
    const numerator = tf * (this.k1 + 1);
    const denominator = tf + this.k1 * (1 - this.b + this.b * (docLen / avgLen));
    score += idf * (numerator / denominator);
  }
  return score;
};

實務應用建議

  • 小型專案:可直接使用 search-index 等純 JS 搜尋庫,無需後端服務。
  • 中大型專案:部署 ElasticSearch/OpenSearch,利用內建 BM25(預設相似度算法),專注於映射設計與查詢調優。
  • 中文分詞:需搭配 jieba-js、nodejieba 等中文分詞工具。

總結

TF-IDF 奠定統計相關性基礎,Okapi BM25 透過飽和度與長度歸一化解決實際搜尋偏差,成為 Lucene/ElasticSearch 預設排名算法。理解其數學原理與實作細節,能幫助開發者更精準地調校搜尋體驗,或在無法引入重型搜尋引擎時,自行實現輕量級全文搜尋功能。

copyright © 萬盛學電腦網 all rights reserved