萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> MySQL 教學

DBM 數據遷移至 MySQL 實戰:PHP 腳本批量導入、編碼坑與 SQLite 兜底方案

背景與挑戰

從 Perl DBM(5 萬+ 記錄,15 字段)遷移至 MySQL,遇到的核心問題:

  • 字段長度超限導致插入失敗。
  • 中文編碼不兼容(命令行可插入,PHP 腳本失敗)。
  • 隱藏換行符導致文本導入行數錯位。

步驟 1:導出 DBM 為制表符分隔文本

每字段用 \t 分隔,每行一條記錄,存為 allrecord.txt。

步驟 2:PHP 預處理語句批量導入

<?php
$dbline = file("g:/allrecord.txt");
$collen = [8,50,80,20,20,30,3,20,1,1,20,35,35,35,2]; // 各字段最大長度

$db = new mysqli('localhost','me','mypass','allrecdb');
if (mysqli_connect_errno()) { die("Connect failed"); }
$db->query("SET NAMES 'gb2312'");

$stmt = $db->prepare("INSERT INTO customers VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)");

foreach ($dbline as $line) {
    $rec = explode("\t", trim($line));
    // 截斷超長字段
    foreach ($rec as $j => $val) {
        $rec[$j] = substr($val, 0, $collen[$j]);
        $rec[$j] = strval($rec[$j]);
    }
    $stmt->bind_param(str_repeat('s', 15), ...$rec);
    $stmt->execute();
}
$stmt->close(); $db->close();

關鍵坑點與解決

1. 字段長度超限

MySQL CHAR/VARCHAR 超長會報錯,必須在綁定前 substr 截斷(如上)。

2. 中文亂碼/插入失敗

  • 命令行 ALTER DATABASE crm CHARACTER SET gb2312、腳本 SET NAMES gb2312 均無效。
  • 懷疑 PHP 5.5 版本或驅動問題,最終放棄 MySQL 轉用 SQLite。

3. 隱藏換行符導致列錯位

文本編輯器不顯示,但實際含 \r (char(13)),導入時一行變兩行。

$line = str_replace(chr(13), '', $line); // 清除 CR
file_put_contents('tmp.txt', $line . "\n", FILE_APPEND);

兜底方案:SQLite 命令行導入

sqlite3> .import tmp.txt customers
sqlite3> SELECT COUNT(*) FROM customers;  -- 57491 成功

SQLite 對編碼、換行符容忍度更高,快速完成遷移。

經驗總結

  • 批量導入前務必清洗特殊字符(換行、制表符、控制字符)。
  • 統一字符集:數據庫、表、列、連接、客戶端全鏈路 utf8mb4。
  • 大數據量優先用 LOAD DATA INFILE 或原生命令行工具,避免逐條 PHP 插入。
copyright © 萬盛學電腦網 all rights reserved