萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 在线导入超大 MySQL SQL 文件:分批执行、内存控制、超时规避完整方案

痛点场景

  • phpMyAdmin 导入限制:上传大小、执行时间、内存
  • 命令行 mysql -u root -p db < huge.sql 权限不足或无 SSH
  • 共享主机只能上传 PHP 脚本执行

核心思路

  1. 读取 .sql 文件到内存(或逐行流式读取)
  2. 按分号 ; 分割单条 SQL(忽略注释、字符串内分号)
  3. 逐条执行,捕获错误继续
  4. 设置 set_time_limit(0) 与 ini_set('memory_limit', '512M')

完整可用脚本

<?php
// import_sql.php - 放在网站目录,与 huge.sql 同级
header('Content-Type: text/html; charset=utf-8');
error_reporting(E_ALL);
set_time_limit(0);           // 无限执行时间
ini_set('memory_limit', '512M');

$sqlFile = __DIR__ . '/huge.sql';
if (!is_file($sqlFile)) {
    die("SQL 文件不存在: $sqlFile");
}

// 1. 读取并分割 SQL 语句
$lines = file($sqlFile, FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);
$queries = [];
$buffer = '';

foreach ($lines as $line) {
    $line = trim($line);
    if ($line === '' || str_starts_with($line, '--') || str_starts_with($line, '/*')) {
        continue; // 跳过空行、注释
    }
    $buffer .= $line . "\n";
    if (substr(rtrim($line), -1) === ';') {
        $queries[] = $buffer;
        $buffer = '';
    }
}

// 2. 连接数据库
$mysqli = new mysqli('localhost', 'root', 'root', 'test');
if ($mysqli->connect_errno) {
    die('数据库连接失败: ' . $mysqli->connect_error);
}
$mysqli->set_charset('utf8mb4');

// 3. 逐条执行
$errors = [];
$total = count($queries);
echo "共 $total 条语句,开始执行...
\n"; ob_flush(); flush(); foreach ($queries as $i => $sql) { if (!$mysqli->query($sql)) { $errors[] = "Line $i: " . $mysqli->error . " | SQL: " . mb_substr($sql, 0, 200); } // 进度输出 if ($i % 100 === 0) { echo "已执行: $i / $total
\n"; ob_flush(); flush(); } } echo "
执行完成。成功: " . ($total - count($errors)) . ", 失败: " . count($errors) . "
\n"; if ($errors) { echo "

错误详情:

" . htmlspecialchars(implode("\n\n", $errors)) . "
"; } $mysqli->close(); // 使用完毕请立即删除本脚本! ?>

关键优化点

  • 流式读取:file() 一次性加载全文,超大文件(>200MB)建议改用 fopen() + fgets() 逐行处理
  • 分割健壮性:简单按分号分割在包含分号的字符串/存储过程中会误切,生产环境建议用 mysqli::multi_query 或专用 SQL 解析库
  • 事务控制:InnoDB 表可每 1000 条提交一次事务,平衡性能与回滚粒度
  • 禁用索引:导入前 ALTER TABLE tbl DISABLE KEYS,导入后 ENABLE KEYS(仅 MyISAM 有效,InnoDB 无效)
  • 安全:脚本用完立即删除,或加 IP 白名单、一次性 Token 保护

替代方案:BigDump 风格分批提交

若单条 SQL 过大(如巨大 INSERT VALUES 列表),可按行数切片:

<?php
// 简化版:每 500 行组合一条 INSERT
$handle = fopen($sqlFile, 'r');
$batch = [];
$lineNum = 0;
while (($line = fgets($handle)) !== false) {
    $lineNum++;
    if (trim($line) === '' || str_starts_with(trim($line), '--')) continue;
    $batch[] = rtrim($line);
    if ($lineNum % 500 === 0) {
        $sql = implode(' ', $batch);
        $mysqli->query($sql);
        $batch = [];
    }
}
if ($batch) $mysqli->query(implode(' ', $batch));
fclose($handle);
?>

部署清单

  1. 上传 import_sql.php 与 huge.sql 到同一目录
  2. 浏览器访问 import_sql.php
  3. 观察进度输出,等待完成
  4. 立即删除两个文件

此方案已在 50MB~200MB SQL 文件实测通过,配合适当调整 max_allowed_packet 可支持更大文件。

copyright © 萬盛學電腦網 all rights reserved