萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> MS SQL 資料庫

Elasticsearch 使用 river-jdbc 從關聯式資料庫匯入資料

Elasticsearch river 模組以插件形式支援從多種資料源同步資料。社群提供的 elasticsearch-river-jdbc 可統一透過 JDBC 從 MySQL、PostgreSQL、SQL Server、Oracle 等匯入資料。本文以 SQL Server 為例說明安裝與配置步驟。

安裝步驟

  1. 安裝 river-jdbc 插件 (在每個 ES 節點執行):
    ./bin/plugin --install jdbc \
      --url https://xbib.org/repository/org/xbib/elasticsearch/plugin/elasticsearch-river-jdbc/1.1.0.1/elasticsearch-river-jdbc-1.1.0.1-plugin.zip
  2. 安裝 JDBC 驅動程式:下載 Microsoft JDBC Driver for SQL Server,將 sqljdbc4.jar 複製到 $ES_HOME/lib 目錄,重啟 ES 節點。

建立 River 定義 (REST API)

PUT /_river/mytest_river/_meta
{
  "type": "jdbc",
  "jdbc": {
    "driver": "com.microsoft.sqlserver.jdbc.SQLServerDriver",
    "url": "jdbc:sqlserver://MYSQLSERVERNAME;databaseName=MYProductDatabase",
    "user": "admin",
    "password": "Password",
    "sql": "SELECT ProductID AS _id, CategoryID, ManufacturerID, MfName, ProductTitle, MfgPartNumber FROM MyProductsTable (NOLOCK)",
    "poll": "10m",
    "strategy": "simple",
    "index": "myinventory",
    "type": "product",
    "bulk_size": 100,
    "max_retries": 5,
    "max_retries_wait": "30s",
    "max_bulk_requests": 5,
    "bulk_flush_interval": "5s"
  }
}

關鍵參數說明

  • sql:查詢語句,必須包含 _id 欄位 作為 ES 文件 ID。
  • poll:輪詢間隔 (如 10m、1h),strategy: simple 表示每次全量查詢並以 _id 判斷新增/更新/刪除。
  • bulk_size:每批次 Bulk API 筆數。
  • index/type:目標索引與類型 (ES 7+ 單類型請忽略 type)。

重要提醒

  • River 模組已在 Elasticsearch 2.0 移除,官方建議改用 Logstash JDBC Input Plugin、Beats 或自行撰寫同步程式。
  • 若仍在 ES 1.x/2.x 維護舊系統,上述做法仍可用;新架構請採用 Logstash / Kafka Connect / Debezium CDC 等現代方案。
copyright © 萬盛學電腦網 all rights reserved