萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

Sphinx 全文搜尋查詢流程與相關性排序機制詳解

Sphinx 搜尋查詢四階段管線

與索引建立對稱,搜尋查詢同樣經歷四個核心階段,將用戶查詢轉化為排序後的文檔結果集。

階段一:查詢解析與詞法分析

輸入:用戶原始查詢字串

處理步驟:

  1. 查詢語法解析:識別運算子(`@field`、`|`、`-`、`"`、`~`、`*` 等)
  2. 分詞處理:使用**與索引建立相同**的 `charset_table`、`morphology`、`stopwords`、`wordforms`、`exceptions` 規則處理查詢詞
  3. 關鍵字展開:通配符 `*`、前綴/後綴匹配、同義詞展開
  4. 輸出:標準化查詢 Term 序列與語法樹
# 查詢語法範例
"hello world"          # 短語查詢(需 index_exact_words=1)
hello | world          # OR 查詢
hello -world           # 排除包含 world 的文檔
@title hello           # 指定欄位查詢
@(title,content) hello # 多欄位查詢
hello*                 # 前綴匹配
~hello                 # 模糊匹配(編輯距離)

階段二:語法分析與查詢樹建構

輸入:標準化 Term 序列

處理:建構布林查詢樹(Boolean Query Tree),節點為 AND/OR/NOT/FIELD/NEAR 等運算子,葉節點為 Term。


// 內部表示範例
// 查詢: @title "php tutorial" | @content (laravel symfony)
// 樹結構:
OR
├── FIELD(title) → PHRASE("php", "tutorial")
└── FIELD(content) → OR("laravel", "symfony")

階段三:索引掃描與文檔匹配

輸入:查詢樹

核心演算法:文檔級並行(Document-at-a-time, DAAT)

  1. 遍歷查詢樹葉節點 Term
  2. 在倒排索引中定位 Term 的 Posting List(文檔 ID + 位置列表)
  3. 根據查詢樹邏輯(AND/OR/NOT/PHRASE/NEAR)合併/過濾 Posting List
  4. 產生候選文檔 ID 集合
  5. **早期終止優化**:`max_matches` 限制(預設 1000),配合 `cutoff` 提前停止掃描

階段四:相關性計算與排序

核心:BM25F 排序函數(Sphinx 預設排名演算法)

BM25F 公式簡化版


score = Σ [ IDF(term) * ( (k1 + 1) * tf ) / ( k1 * (1 - b + b * field_len/avg_field_len) + tf ) ]
* field_weight
+ 屬性權重加成

關鍵因子:

  • IDF (Inverse Document Frequency):詞項稀有度,越稀有權重越高
  • TF (Term Frequency):詞項在文檔中出現頻率
  • Field Length Normalization:長文檔懲罰,短文檔加權
  • Field Weights:各欄位重要權重(如 title > content > tags)
  • 屬性加成:數值屬性(如點讚數、時間新舊)可透過 `SetSortMode(SPH_SORT_EXPR, ...)` 融入排序

排序模式對比

模式常數說明適用場景
相關性降序SPH_SORT_RELEVANCEBM25F 分數降序全文搜尋預設
屬性降序SPH_SORT_ATTR_DESC指定數值屬性降序最新發布、最高價格
屬性升序SPH_SORT_ATTR_ASC指定數值屬性升序最低價格、最舊
時間分段+相關性SPH_SORT_TIME_SEGMENTS時間分段(小時/天/週/月)內按相關性新聞、部落格
自定義運算式SPH_SORT_EXPRSQL-like 運算式:`@weight + log(views)*10 + recency*100`複雜業務排序
隨機排序SPH_SORT_RANDOM指定種子隨機推薦、廣告輪播

PHP 客戶端排序範例

<?php
$client = new SphinxClient();
$client->SetServer('127.0.0.1', 9312);
$client->SetConnectTimeout(1);
$client->SetArrayResult(true);

// 權重配置:標題權重 100,內容 10,標籤 50
$client->SetFieldWeights(['title' => 100, 'content' => 10, 'tags' => 50]);

// 模式 1:純相關性
$client->SetSortMode(SPH_SORT_RELEVANCE);

// 模式 2:綜合排序(相關性 60% + 熱度 30% + 新鮮度 10%)
$client->SetSortMode(SPH_SORT_EXPR, 
    '@weight * 0.6 + log10(views + 1) * 30 + (created_at - 1609459200) / 86400 * 10'
);

// 模式 3:分段時間 + 相關性(過去 1 小時最高優先)
$client->SetSortMode(SPH_SORT_TIME_SEGMENTS, 'created_at');

// 執行查詢
$result = $client->Query('php 教程', 'idx_main');

if ($result === false) {
    die('Error: ' . $client->GetLastError());
}

echo "總計: {$result['total']}, 耗時: {$result['time']} 秒\n";
foreach ($result['matches'] as $doc) {
    echo "ID: {$doc['id']}, Weight: {$doc['weight']}, ";
    echo "Views: {$doc['attrs']['views']}, ";
    echo "Created: " . date('Y-m-d', $doc['attrs']['created_at']) . "\n";
}
?>

進階相關性調優技巧

1. 權重微調

# 索引配置中預設欄位權重(也可查詢時動態覆蓋)
index idx_main {
    # ...
    # 權重影響 BM25F 中的 field_weight 因子
}

2. 使用 `index_exact_words = 1` 支援精確匹配

啟用後,查詢 `"exact phrase"` 只匹配原文完全相同的詞序列,不做詞幹化展開。

3. 自定義排名運算式(SPH_SORT_EXPR)

<?php
// 熱門商品搜尋:相關性 + 銷量對數 + 評分 + 新品加成
$expr = '
    @weight * 1.0 
    + log10(sales + 1) * 50 
    + rating * 20 
    + IF(created_at > UNIX_TIMESTAMP(DATE_SUB(NOW(), INTERVAL 30 DAY)), 100, 0)
    - IF(stock = 0, 1000, 0)  // 缺貨懲罰
';
$client->SetSortMode(SPH_SORT_EXPR, $expr);
?>

4. 多索引查詢與分散式搜尋

<?php
// 同時查詢多個索引(主+增量,或多業務線)
$client->Query('關鍵詞', 'idx_main idx_delta idx_archive');

// 分散式索引配置(sphinx.conf)
index dist_all {
    type = distributed
    local = idx_main
    local = idx_delta
    agent = 10.0.1.12:9312:idx_shard1  # 遠端分片
    agent = 10.0.1.13:9312:idx_shard2
    agent_connect_timeout = 100
    agent_query_timeout = 3000
}

效能優化關鍵配置

參數建議影響
max_matches1000-10000(視分頁深度)限制候選集大小,防止 OOM
cutoff大數據集設 10000-50000掃描足夠文檔後提前終止
max_query_time200-500ms硬性超時保護,防止慢查詢拖垮
ranking_expr預編譯複雜運算式避免查詢時重複解析
subtree_docs_cache4M-16M加速常用子樹統計
subtree_hits_cache8M-32M加速常用子樹命中統計

總結

Sphinx 搜尋流程:**查詢解析 → 語法樹 → 索引掃描 → BM25F 排序** 採用文檔級並行(DAAT)架構,配合倒排索引與屬性儲存,實現毫秒級全文檢索。關鍵調優點:

  1. **查詢端與索引端使用相同語言處理管線**(分詞、詞幹、停用詞)
  2. **合理設定 max_matches/cutoff/max_query_time** 保護叢集穩定
  3. **善用 SPH_SORT_EXPR** 融合業務指標(熱度、新鮮度、轉化率)
  4. **分散式索引** 支援水平擴展至 TB 級資料
copyright © 萬盛學電腦網 all rights reserved