SQL Server 自帶「匯入/匯出精靈」與 SSIS 對大檔、特殊分隔符、編碼、NULL 處理支援極差,實測極易報錯(截斷、類型不匹配、編碼亂碼)。採用 MySQL 做中轉,利用其強大的 LOAD DATA 與 Navicat 視覺化導入,再由 SSIS 從 MySQL 讀取,穩定得多。
# 假設原始檔為 Tab 分隔,63 欄位,首行無標題
awk -F '\t' 'NF==63 {print $0}' all.csv > all_63f.txt
# 手工建立標題行 h.txt(欄位名以 Tab 分隔)
head -1 origin_text_file.txt > h.txt
dos2unix h.txt # 去除 BOM、CRLF
cat h.txt all_63f.txt > a63_with_head.txt
# 計算各欄位最大長度,決定 VARCHAR/TEXT 類型
awk -F '\t' '
BEGIN { for(i=1;i<=63;i++) max[i]=0 }
{ for(i=1;i<=63;i++) if (length($i)>max[i]) max[i]=length($i) }
END { for(i=1;i<=63;i++) print i, max[i] }
' a63_with_head.txt
根據長度分析:≤255 → VARCHAR(n),>255 → LONGTEXT。編碼統一 utf8mb4。
a63_with_head.txt。Text,分隔符 Tab,編碼 UTF-8,勾選「第一行為欄位名」。CHECK TABLE、抽樣 SELECT * FROM t LIMIT 10 驗證。下載:MySQL Connector/NET(含 MySql.Data.dll),安裝至 GAC。
結構與 MySQL 表完全一致(欄位名、類型、長度、NULL/NOT NULL)。
SELECT `col1`, `col2`, ..., `col63` FROM `db`.`table` WHERE 1
目標選 SQL Server 表,欄位自動映射(名稱相同),預覽無誤後執行。大檔案建議分批(LIMIT 100000 OFFSET ...)。
| 問題 | 原因 | 解決 |
|---|---|---|
| 中文亂碼 | MySQL 表/連線編碼非 utf8mb4,或 SSIS 讀取編碼錯誤 | MySQL 表 CHARSET=utf8mb4,連線字串加 Charset=utf8mb4;SSIS 進階屬性 DefaultCodePage=65001 |
| NULL 值導入失敗 | CSV 空欄位 vs SQL Server NOT NULL | MySQL 端 NULLIF(TRIM(col), '') 轉真 NULL,或目標表允許 NULL |
| 超長字串截斷 | 目標 VARCHAR(n) 過小 | 階段一定長度分析時預留餘量,或改用 NVARCHAR(MAX) |
| SSIS 記憶體溢位 | 單次讀取過多行 | 資料流任務 → DefaultBufferMaxRows 減小(如 5000),DefaultBufferSize 增大 |
bcp 或 BULK INSERT 配合 FORMATFILE 導入 SQL Server,效能更高。Debezium + Kafka Connect、Canal + RocketMQ、DataX 等成熟異構同步方案,支援增量、斷點續傳、Schema 演進。CHECKSUM TABLE(MySQL)與 CHECKSUM_AGG(SQL Server)對比行數與校驗和。