LOAD DATA INFILE),不支援 INSERT/MySQL Loader。-- 設置會話級數據格式
SET @bh_dataformat = 'txt_variable'; -- CSV 變長文本,容錯最好,速度中
SET @bh_dataformat = 'binary'; -- 二進制格式,速度最快,零容錯
SET @bh_dataformat = 'mysql'; -- MySQL Loader 格式,速度較慢,兼容性最好
容錯排序:txt_variable > binary > mysql
速度排序:binary > txt_variable > mysql
LOAD DATA INFILE '/full_path/file_name'
INTO TABLE tbl_name
[FIELDS
[TERMINATED BY 'char'] -- 列分隔符,默認 ';'
[ENCLOSED BY 'char'] -- 包圍符,默認 '"'
[ESCAPED BY 'char'] -- 轉義符,默認無
]
[LINES TERMINATED BY 'char']; -- 行分隔符,默認 '\n'
-- 關閉自動提交,批量提交減少提交開銷
SET AUTOCOMMIT = 0;
-- 並發導入多個文件(需多會話)
-- 會話1
LOAD DATA INFILE '/data/part1.txt' INTO TABLE t;
-- 會話2
LOAD DATA INFILE '/data/part2.txt' INTO TABLE t;
-- 完成後提交
COMMIT;
SET AUTOCOMMIT = 1;
-- 設置拒絕文件路徑與中止閾值
SET @BH_REJECT_FILE_PATH = '/tmp/reject_file';
SET @BH_ABORT_ON_COUNT = 10; -- 累計 10 條失敗則中止
-- 或按比例
SET @BH_ABORT_ON_THRESHOLD = 0.03; -- 3% 失敗率中止
-- -1 表示永不中止,全部記錄進拒絕文件
SET @BH_ABORT_ON_COUNT = -1;
導入結束後檢查 /tmp/reject_file 分析髒數據,修正後重新導入。
-- 導出時指定極難出現的分隔符與轉義符
SELECT col1, col2, col3
INTO OUTFILE '/tmp/out.csv'
FIELDS TERMINATED BY '||'
ESCAPED BY '\\'
LINES TERMINATED BY '$$$$$\n'
FROM source_table;
TERMINATED BY '||':雙竜線作為列分隔,極少出現在業務數據中。ESCAPED BY '\\':反斜槓轉義,標準化處理引號、換行等。LINES TERMINATED BY '$$$$$\n':五個美元符號+換行作為行結束,極難衝突。brighthouse.ini 中增加堆內存,應對寬表(列數 > 500)。LOAD DATA,線性提升吞吐。INSERT 導入 ICE 版 → 報錯不支援。AUTOCOMMIT=0 → 每行自動提交,極慢。