萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> 資料庫綜合

SQL Server 資料遷移至 MySQL 實戰:現代工具鏈與零停機方案

跨平台資料遷移:從傳統 CSV 到現代 CDC 同步

將 SQL Server 資料遷移至 MySQL 是常見異構遷移場景。早期靠 CSV 匯出匯入,如今有更可靠、低停機、支援大數據量的工具鏈。本文對比多種方案,提供從小型到企業級的實作指南。

方案對照表

方案適用規模停機時間複雜度功能完整度推薦指數
CSV/平面檔案< 100 萬列、單表長(全量鎖表/匯出/匯入)低僅資料,無索引/觸發器/權限⭐⭐
SSIS / Azure Data Factory中大型、複雜轉換中(可增量)中完整 ETL、資料清洗、排程⭐⭐⭐⭐
Linked Server + OPENQUERY小量、臨時同步短低即時查詢、單向同步⭐⭐⭐
SQL Server Replication (異構)中型、單向同步短(快照後增量)高交易式複寫至 MySQL,維護複雜⭐⭐
Debezium + Kafka Connect (CDC)大型、零停機、雙向同步近零高完整 CDC、Schema 演進、精確一次⭐⭐⭐⭐⭐
Azure Database Migration Service雲端遷移、混合雲可零停機 (CDC)中支援線上/離線、Schema 轉換、驗證⭐⭐⭐⭐⭐
AWS DMS / Google Datastream跨雲遷移可零停機中支援 CDC、Schema 轉換、任務監控⭐⭐⭐⭐
第三方工具各種規模視工具低~中GUI 導向、Schema 映射、資料驗證⭐⭐⭐⭐

方案一:CSV 傳統法(教學/小量適用)

步驟與關鍵細節

  1. SQL Server 匯出:
    • SSMS → 任務 → 匯出資料 → 目的地選「平面檔案目的地」→ 格式:CSV、編碼 UTF-8、含標題列、文字限定符號 "。
    • 或 bcp "SELECT * FROM dbo.Table" queryout "data.csv" -c -t, -C 65001 -S . -T(-c 字元模式、-t 分隔符、-C 65001 UTF-8)。
  2. 處理標題與資料類型:MySQL LOAD DATA INFILE 需標題對應欄位,日期/時間格式需一致(建議 ISO 8601)。
  3. MySQL 匯入:
    LOAD DATA INFILE '/path/data.csv'
    INTO TABLE target_table
    CHARACTER SET utf8mb4
    FIELDS TERMINATED BY ',' ENCLOSED BY '"' ESCAPED BY '\\'
    LINES TERMINATED BY '\n'
    IGNORE 1 LINES
    (@col1, @col2, @col3, ...)
    SET col1 = NULLIF(@col1,''), col2 = STR_TO_DATE(@col2, '%Y-%m-%d'), ...;
    
  4. 重建索引/外鍵/權限:匯入後補上 DDL。

方案二:SSIS / Azure Data Factory(企業級 ETL)

  • SSIS:Visual Studio SSIS 專案,OLE DB Source (SQL Server) → Data Conversion → OLE DB/ADO.NET Destination (MySQL Connector/Net),部署至 SSISDB 目錄排程執行。
  • ADF:建立 Self-Hosted IR(內部部署)或 Azure IR,Copy Activity:Source (SQL Server) → Sink (Azure Database for MySQL / 外部 MySQL),啟用資料流進行轉換,支援增量水位線(watermark)欄位。

方案三:Debezium CDC 零停機同步(架構圖)

SQL Server (啟用 CDC) 
   │
   ▼
Debezium Connector (Kafka Connect) ──► Kafka Topic (Schema Registry)
   │
   ▼
Kafka Connect MySQL Sink Connector ──► MySQL (含 Schema 演進)

關鍵設定

  • SQL Server 啟用 CDC:EXEC sys.sp_cdc_enable_db; EXEC sys.sp_cdc_enable_table @source_schema='dbo', @source_name='Table', @role_name=NULL, @supports_net_changes=1;
  • Debezium 設定 database.history.kafka.topic, snapshot.mode=initial, table.include.list。
  • MySQL Sink 設定 key.converter=io.confluent.connect.avro.AvroConverter, schema.registry.url, insert.mode=upsert, pk.mode=record_key。
  • Schema Registry 管理 Avro Schema 向後相容演進。

方案四:Azure Database Migration Service (DMS) 線上遷移

  1. 建立 DMS 實例(Premium SKU 支援線上遷移)。
  2. 建立遷移專案:來源 SQL Server、目標 Azure Database for MySQL / 內部部署 MySQL。
  3. 選擇資料庫、表格、Schema 映射(自動轉換資料類型:uniqueidentifier→CHAR(36), datetimeoffset→DATETIME(6) 等)。
  4. 啟動「線上遷移」:全量載入 → CDC 同步 → 手動/排程切換。
  5. 驗證資料一致性(資料列計數、檢查和、應用測試)後完成切換。

資料類型映射對照(常見陷阱)

SQL ServerMySQL 建議注意事項
uniqueidentifierCHAR(36) / BINARY(16)UUID 字串或二進制,應用層需一致
datetime / datetime2DATETIME(6) / TIMESTAMP(6)精度對齊,注意時區
datetimeoffsetDATETIME(6) + 時區欄位MySQL 無原生 offset 類型
money / smallmoneyDECIMAL(19,4) / DECIMAL(10,4)定點數避免浮點誤差
bitTINYINT(1) / BOOLEANMySQL BOOLEAN = TINYINT(1)
hierarchyid / geometry / geographyVARCHAR / JSON / GIS 擴展需應用層處理或 PostGIS
sql_variantJSON / VARCHAR + 類型欄位避免使用,拆分多欄
FILESTREAM / FileTable物件儲存 + 中繼資料表架構重構必要

遷移前檢查清單

[ ] 來源/目標版本支援矩陣確認
[ ] Schema 比對:資料類型、主鍵、索引、外鍵、觸發器、預存程序、檢視、權限
[ ] 字元集統一:目標 MySQL utf8mb4, 連線字串 charset=utf8mb4
[ ] 大物件 (LOB) 處理策略:VARBINARY(MAX) → LONGBLOB / 物件儲存
[ ] 自增身分識別列:MySQL AUTO_INCREMENT 種子值設定
[ ] 交易一致性邊界:單表/跨表/跨庫
[ ] 測試環境全量演練 + 應用驗證
[ ] 回滾方案:雙寫期、DNS 切換、唯讀模式驗證
[ ] 監控儀表板:延遲、錯誤率、資料列數對帳

選擇遷移方案取決於資料量、停機容忍度、團隊技能、雲端策略。現代專案強烈建議採用 CDC 架構或雲端原生遷移服務,將風險與停機時間降至最低。CSV 僅適合一次性小量匯入或測試資料準備。

copyright © 萬盛學電腦網 all rights reserved