萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

Solr DataImportHandler 從 MySQL 導入數據完整教程:配置、Schema、DIH 實戰

架構概覽

Apache Solr 的 DataImportHandler (DIH) 允許直接從關係型數據庫(MySQL、PostgreSQL 等)全量/增量導入數據至 Solr 索引,無需編寫中間 ETL 代碼。本教程基於 Solr 4.7+,演示從 MySQL 表 solr_tb 導入 id、name 兩字段的完整流程。

環境準備

  • Solr 4.7+ 已安裝並運行(示例路徑 D:\phpServer\solr\solr1)
  • MySQL 已建庫 solr_db、表 solr_tb(id, name, price, desc) 並有測試數據
  • JDBC 驅動:mysql-connector-java-5.1.7-bin.jar

步驟 1:啟用 DataImportHandler

編輯 solrconfig.xml(位於 home/collection1/conf/),在 <config> 內添加:

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
  <lst name="defaults">
    <str name="config">data-config.xml</str>
  </lst>
</requestHandler>

Solr Admin DataImport 界面

步驟 2:編寫 data-config.xml(數據源與實體映射)

在同級目錄創建 data-config.xml:

<?xml version="1.0" encoding="UTF-8"?>
<dataConfig>
  <dataSource type="JdbcDataSource"
              driver="com.mysql.jdbc.Driver"
              url="jdbc:mysql://127.0.0.1/solr_db?useUnicode=true&characterEncoding=utf8&useSSL=false"
              user="root"
              password="root" />

  <document>
    <entity name="solr_tb"
            transformer="DateFormatTransformer"
            query="SELECT id, name FROM solr_tb WHERE id >= ${dataimporter.request.id}">
      <!-- 字段映射:左邊 Solr 字段,右邊數據庫列(同名可省略) -->
      <field column="id" name="id" />
      <field column="name" name="name" />
    </entity>
  </document>
</dataConfig>

關鍵點:

  • ${dataimporter.request.id}:運行時傳參,支援分批導入(如 id=1000 從 1000 開始)。
  • transformer:可選,用於日期格式轉換、HTML 去標籤等預處理。

步驟 3:定義 schema.xml(索引字段結構)

備份原文件後,替換為精簡版:

<?xml version="1.0" encoding="UTF-8"?>
<schema name="example" version="1.5">
  <fields>
    <field name="id"        type="string"  indexed="true" stored="true" multiValued="false" required="true"/>
    <field name="name"      type="text_general" indexed="true" stored="true"/>
    <field name="_version_" type="long"    indexed="true" stored="true"/>
  </fields>

  <types>
    <fieldType name="string"       class="solr.StrField" sortMissingLast="true"/>
    <fieldType name="long"         class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/>
    <fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
        <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
      <analyzer type="query">
        <tokenizer class="solr.StandardTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>
        <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
        <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
    </fieldType>
  </types>

  <uniqueKey>id</uniqueKey>
  <defaultSearchField>name</defaultSearchField>
  <solrQueryParser defaultOperator="OR"/>
</schema>

說明:text_general 使用 StandardTokenizer 支援中文分詞(按標點/空格切分),生產環境中文建議換用 IK Analyzer 或 SmartCN。

步驟 4:部署依賴 JAR 包

將以下 JAR 複製到 tomcat/webapps/solr/WEB-INF/lib/:

  • solr-dataimporthandler-4.7.0.jar
  • solr-dataimporthandler-extras-4.7.0.jar
  • mysql-connector-java-5.1.7-bin.jar(或更新版)

步驟 5:重啟 Tomcat 並驗證

  1. 重啟 Tomcat 服務。
  2. 訪問 https://localhost:8080/solr/,左側 Core 下拉選 collection1。
  3. 左側菜單選 Dataimport,出現界面即配置成功。
    DIH 管理界面

步驟 6:執行導入

在 DIH 界面設置:

  • Command:full-import(全量)或 delta-import(增量,需配置 deltaQuery)
  • Clean:勾選(導入前清空現有索引)
  • Commit:勾選(導入後自動提交)
  • Custom Parameters:id=1(對應 data-config.xml 中 ${dataimporter.request.id})

點擊 Execute,看到 Status: Idle、Total Requests: 1、Total Rows: 5 表示成功。
導入成功截圖

步驟 7:驗證查詢

切換到 Query 面板,q=*:* 執行查詢,返回導入的文檔。
查詢結果

文檔詳情

進階:增量導入配置

在 entity 中添加:

<entity name="solr_tb"
        query="SELECT id, name FROM solr_tb"
        deltaQuery="SELECT id FROM solr_tb WHERE updated_at > '${dataimporter.last_index_time}'"
        deltaImportQuery="SELECT id, name FROM solr_tb WHERE id = '${dataimporter.delta.id}'"
        deletedPkQuery="SELECT id FROM solr_tb_deleted WHERE deleted_at > '${dataimporter.last_index_time}'"
        transformer="DateFormatTransformer">
  <field column="id" name="id"/>
  <field column="name" name="name"/>
  <field column="updated_at" name="updated_at" dateTimeFormat="yyyy-MM-dd HH:mm:ss"/>
</entity>

需在表中添加 updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,並建立軟刪除表 solr_tb_deleted 或加 is_deleted 字段。

常見問題排查

現象原因解決
ClassNotFoundException: JdbcDataSourceJAR 包未放入 WEB-INF/lib複製 3 個 JAR 並重啟 Tomcat
Communications link failureMySQL 地址/端口/防火牆/SSL檢查 URL、3306 端口、useSSL=false
導入 0 行SQL 條件不匹配/事務未提交手動執行 SQL 驗證、檢查事務隔離級別
中文亂碼JDBC URL 缺編碼參數加 ?useUnicode=true&characterEncoding=utf8

總結

Solr DIH 提供了 零代碼、可視化、支援全量/增量 的數據庫導入能力。核心步驟:solrconfig.xml 註冊 Handler → data-config.xml 定義數據源與映射 → schema.xml 定義索引結構 → 放入 JDBC 驅動 → 重啟 → Web UI 執行。掌握此流程,可將 MySQL 數據秒級同步至搜索引擎,支撐高性能全文檢索業務。

copyright © 萬盛學電腦網 all rights reserved