萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> MySQL 教學

Infobright 數據導入全攻略:IB Loader 語法、格式選擇、特殊字符轉義避坑

Infobright 導入架構差異

  • IEE(企業版):支援 MySQL Loader、IB Loader、INSERT 語句。
  • ICE(社區版):僅支援 IB Loader(LOAD DATA INFILE),不支援 INSERT/MySQL Loader。

數據格式選擇:速度 vs 容錯

-- 設置會話級數據格式
SET @bh_dataformat = 'txt_variable';  -- CSV 變長文本,容錯最好,速度中
SET @bh_dataformat = 'binary';        -- 二進制格式,速度最快,零容錯
SET @bh_dataformat = 'mysql';         -- MySQL Loader 格式,速度較慢,兼容性最好

容錯排序:txt_variable > binary > mysql
速度排序:binary > txt_variable > mysql

IB Loader 標準語法

LOAD DATA INFILE '/full_path/file_name'
INTO TABLE tbl_name
[FIELDS
  [TERMINATED BY 'char']      -- 列分隔符,默認 ';'
  [ENCLOSED BY 'char']        -- 包圍符,默認 '"'
  [ESCAPED BY 'char']         -- 轉義符,默認無
]
[LINES TERMINATED BY 'char']; -- 行分隔符,默認 '\n'

事務控制與並發導入

-- 關閉自動提交,批量提交減少提交開銷
SET AUTOCOMMIT = 0;

-- 並發導入多個文件(需多會話)
-- 會話1
LOAD DATA INFILE '/data/part1.txt' INTO TABLE t;

-- 會話2
LOAD DATA INFILE '/data/part2.txt' INTO TABLE t;

-- 完成後提交
COMMIT;
SET AUTOCOMMIT = 1;

特殊字符導入失敗:兩大應對策略

策略一:拒絕文件機制(容錯繼續)

-- 設置拒絕文件路徑與中止閾值
SET @BH_REJECT_FILE_PATH = '/tmp/reject_file';
SET @BH_ABORT_ON_COUNT = 10;          -- 累計 10 條失敗則中止
-- 或按比例
SET @BH_ABORT_ON_THRESHOLD = 0.03;    -- 3% 失敗率中止
-- -1 表示永不中止,全部記錄進拒絕文件
SET @BH_ABORT_ON_COUNT = -1;

導入結束後檢查 /tmp/reject_file 分析髒數據,修正後重新導入。

策略二:源頭轉義與特殊分隔符(預防為主)

-- 導出時指定極難出現的分隔符與轉義符
SELECT col1, col2, col3
INTO OUTFILE '/tmp/out.csv'
FIELDS TERMINATED BY '||' 
ESCAPED BY '\\'
LINES TERMINATED BY '$$$$$\n'
FROM source_table;
  • TERMINATED BY '||':雙竜線作為列分隔,極少出現在業務數據中。
  • ESCAPED BY '\\':反斜槓轉義,標準化處理引號、換行等。
  • LINES TERMINATED BY '$$$$$\n':五個美元符號+換行作為行結束,極難衝突。

大數據量導入經驗值

  1. 調大 LoaderMainHeapSize:brighthouse.ini 中增加堆內存,應對寬表(列數 > 500)。
  2. 並發導入:多會話並行 LOAD DATA,線性提升吞吐。
  3. DLP (Data Load Pipeline):億級以上必選,支援分布式並行載入、斷點續傳。
  4. 避免多字符分隔符:IB Loader 不支援正則/多字符分隔,預處理統一為單字符。

避坑清單

  • ❌ 直接用 INSERT 導入 ICE 版 → 報錯不支援。
  • ❌ 數據含分隔符/引號/換行未轉義 → 大量進拒絕文件或導入中止。
  • ❌ 忽略 AUTOCOMMIT=0 → 每行自動提交,極慢。
  • ✅ 導出端統一規範分隔/轉義,導入端對應配置,端到端一致性。
copyright © 萬盛學電腦網 all rights reserved