萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> MySQL 教學

MySQL CSV/Text 導入 SQL Server 實戰:兩階段中轉法避開 SSIS 坑點

為什麼不直接用 SSIS/導入精靈?

SQL Server 自帶「匯入/匯出精靈」與 SSIS 對大檔、特殊分隔符、編碼、NULL 處理支援極差,實測極易報錯(截斷、類型不匹配、編碼亂碼)。採用 MySQL 做中轉,利用其強大的 LOAD DATA 與 Navicat 視覺化導入,再由 SSIS 從 MySQL 讀取,穩定得多。

階段一:CSV/Text → MySQL

1. 預處理(Cygwin/Linux/WSL)


# 假設原始檔為 Tab 分隔,63 欄位,首行無標題
awk -F '\t' 'NF==63 {print $0}' all.csv > all_63f.txt

# 手工建立標題行 h.txt(欄位名以 Tab 分隔)
head -1 origin_text_file.txt > h.txt
dos2unix h.txt          # 去除 BOM、CRLF
cat h.txt all_63f.txt > a63_with_head.txt

# 計算各欄位最大長度,決定 VARCHAR/TEXT 類型
awk -F '\t' '
BEGIN { for(i=1;i<=63;i++) max[i]=0 }
{ for(i=1;i<=63;i++) if (length($i)>max[i]) max[i]=length($i) }
END { for(i=1;i<=63;i++) print i, max[i] }
' a63_with_head.txt

2. 建表

根據長度分析:≤255 → VARCHAR(n),>255 → LONGTEXT。編碼統一 utf8mb4。

3. Navicat for MySQL 視覺化導入

  1. 右鍵資料庫 → 導入向導 → 選擇 a63_with_head.txt。
  2. 格式:Text,分隔符 Tab,編碼 UTF-8,勾選「第一行為欄位名」。
  3. 目標表選擇剛建立的表,欄位自動對應,開始導入。
  4. 導入完成後,CHECK TABLE、抽樣 SELECT * FROM t LIMIT 10 驗證。

階段二:MySQL → SQL Server

1. 安裝 MySQL .NET Provider

下載:MySQL Connector/NET(含 MySql.Data.dll),安裝至 GAC。

2. SQL Server 建立目標表

結構與 MySQL 表完全一致(欄位名、類型、長度、NULL/NOT NULL)。

3. SSIS / 匯入精靈配置數據源

  • 資料來源:.Net Framework Data Provider for MySQL
  • 伺服器:MySQL Host/IP
  • 資料庫:MySQL Database
  • 使用者/密碼:MySQL 帳號
  • 關鍵: 不要在下拉框選表,必須選「編寫查詢指定要傳輸的資料」,輸入:
    SELECT `col1`, `col2`, ..., `col63` FROM `db`.`table` WHERE 1

SSIS MySQL 數據源配置

4. 欄位映射與執行

目標選 SQL Server 表,欄位自動映射(名稱相同),預覽無誤後執行。大檔案建議分批(LIMIT 100000 OFFSET ...)。

常見問題與對策

問題原因解決
中文亂碼MySQL 表/連線編碼非 utf8mb4,或 SSIS 讀取編碼錯誤MySQL 表 CHARSET=utf8mb4,連線字串加 Charset=utf8mb4;SSIS 進階屬性 DefaultCodePage=65001
NULL 值導入失敗CSV 空欄位 vs SQL Server NOT NULLMySQL 端 NULLIF(TRIM(col), '') 轉真 NULL,或目標表允許 NULL
超長字串截斷目標 VARCHAR(n) 過小階段一定長度分析時預留餘量,或改用 NVARCHAR(MAX)
SSIS 記憶體溢位單次讀取過多行資料流任務 → DefaultBufferMaxRows 減小(如 5000),DefaultBufferSize 增大

進階優化建議

  1. 跳過 MySQL 中轉: 若 CSV 結構簡單,可直接用 bcp 或 BULK INSERT 配合 FORMATFILE 導入 SQL Server,效能更高。
  2. 異構同步工具: 生產環境建議使用 Debezium + Kafka Connect、Canal + RocketMQ、DataX 等成熟異構同步方案,支援增量、斷點續傳、Schema 演進。
  3. 資料驗證: 導入後跑 CHECKSUM TABLE(MySQL)與 CHECKSUM_AGG(SQL Server)對比行數與校驗和。
copyright © 萬盛學電腦網 all rights reserved