萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> MySQL 教學

Linux/Windows 下 MySQL 大數據導入 SQL 文件最佳實踐:source、重定向與參數優化

核心原則

  • **拒絕 phpMyAdmin/Web 界面導入**:超時、內存溢出、編碼問題頻發
  • **使用命令行工具**:mysql 客戶端、source 指令、管道重定向
  • **大文件優化參數**:關閉自動提交、禁用外鍵檢查、批量提交

Linux/Unix 環境導入

方式一:Shell 重定向(推薦,支持流式處理)

# 基礎語法
mysql -u用戶名 -p 數據庫名 < 文件名.sql

# 實例
mysql -uroot -p dbname < /home/root/backup.sql

# 進階:壓縮文件直接導入(節省磁盤空間)
gunzip -c backup.sql.gz | mysql -uroot -p dbname

方式二:MySQL 客戶端 source 命令

# 1. 進入客戶端
mysql -uroot -p dbname

# 2. 執行 source
mysql> source /home/root/backup.sql;
# 或
mysql> \. /home/root/backup.sql

大文件導入優化參數(臨時會話級)

-- 導入前執行
SET autocommit = 0;
SET unique_checks = 0;
SET foreign_key_checks = 0;
SET sql_log_bin = 0;  -- 不寫 Binlog,加速且不影響主從(需謹慎)

-- 導入後執行
SET autocommit = 1;
SET unique_checks = 1;
SET foreign_key_checks = 1;
SET sql_log_bin = 1;

可寫入臨時 SQL 文件頭尾,或使用 --init-command 參數:

mysql -uroot -p --init-command="SET autocommit=0; SET unique_checks=0; SET foreign_key_checks=0; SET sql_log_bin=0;" dbname < backup.sql

Windows 環境導入

REM 1. 打開 MySQL Command Line Client
REM 2. 登錄後執行
mysql> source C:\backup\dbname.sql
REM 或
mysql> \. C:\backup\dbname.sql

或使用 CMD/PowerShell 重定向:

mysql -uroot -p dbname < C:\backup\dbname.sql

超大文件(>10GB)分卷導入策略

  1. 拆分文件:split -l 100000 backup.sql part_(按行拆分)
  2. 並行導入:多終端同時導入不同分片(需確保無外鍵依賴順序)
  3. 使用 Loader 工具:mydumper/myloader 多線程並行導入,速度提升 5-10 倍

常見報錯與對策

錯誤原因解決
ERROR 2006 (HY000): MySQL server has gone away導入單條 SQL 過大 / 超時調大 max_allowed_packet=1G、net_read_timeout=600
ERROR 1153 (08S01): Got a packet bigger than 'max_allowed_packet' bytes同上同上
ERROR 1062 (23000): Duplicate entry主鍵/唯一鍵衝突檢查數據、或 SET unique_checks=0 導入後再驗證
ERROR 1213 (40001): Deadlock found並行導入死鎖串行導入、按主鍵排序、調整 innodb_lock_wait_timeout

導入後驗證清單

  • CHECK TABLE tbl_name; 檢查表完整性
  • ANALYZE TABLE tbl_name; 更新統計信息
  • 核對行數:SELECT COUNT(*) FROM tbl_name; 對比源庫
  • 抽樣業務查詢驗證數據正確性
copyright © 萬盛學電腦網 all rights reserved