數百 MB 甚至 GB 級 CSV 文件 (百萬行+),file() 或 fgetcsv() 全量讀取會導致內存溢出 (OOM) 或超時。需**流式分批處理**,像數據庫游標一樣按行定位讀取。
/**
* CSV 分批讀取:按行偏移量讀取指定行數
* @param string $csvFile CSV 文件路徑
* @param int $lines 讀取行數 (批次大小)
* @param int $offset 起始行號 (0-indexed,含表頭則從 1 開始)
* @return array|false 二維數組 [行號 => [欄位...]] 或失敗 false
*/
function csvGetLines(string $csvFile, int $lines, int $offset = 0): array|false
{
$fp = fopen($csvFile, 'r');
if (!$fp) return false;
// 1. 快速跳過前 $offset 行 (不解析,僅移動指針)
$i = 0;
while ($i < $offset && !feof($fp)) {
fgets($fp); // 僅讀行不解析,極快
$i++;
}
// 2. 讀取目標行並解析 CSV
$data = [];
$rowNum = $offset;
while (count($data) < $lines && ($row = fgetcsv($fp)) !== false) {
$data[$rowNum] = $row;
$rowNum++;
}
fclose($fp);
return $data;
}
// 讀取第 2,000,001 行起的 1000 行 (跳過表頭 + 200 萬行)
$batch = csvGetLines('/data/huge_export.csv', 1000, 2000000);
foreach ($batch as $lineNum => $fields) {
// $fields = ['col1', 'col2', ...]
// 入庫邏輯...
echo "Line $lineNum: " . implode(' | ', $fields) . "\n";
}
<?php
/**
* 大 CSV 異步分批導入 MySQL
* 用法: php import_csv.php /path/to/file.csv 1000
*/
$csvFile = $argv[1] ?? '';
$batchSize = (int)($argv[2] ?? 1000);
$pdo = new PDO('mysql:host=localhost;dbname=test;charset=utf8mb4', 'user', 'pass', [
PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION,
PDO::ATTR_EMULATE_PREPARES => false,
]);
if (!$csvFile || !is_file($csvFile)) {
die("Usage: php $argv[0] [batch_size]\n");
}
// 獲取總行數 (wc -l 極快,或 PHP 統計)
$totalLines = (int)shell_exec("wc -l < " . escapeshellarg($csvFile));
echo "總行數: $totalLines (含表頭)\n";
// 準備預處理語句 (假設表結構固定)
$stmt = $pdo->prepare("INSERT INTO `users` (`name`,`email`,`phone`) VALUES (?,?,?)");
$offset = 1; // 跳過表頭
$imported = 0;
$startTime = microtime(true);
while ($offset < $totalLines) {
$batch = csvGetLines($csvFile, $batchSize, $offset);
if (empty($batch)) break;
$pdo->beginTransaction();
try {
foreach ($batch as $fields) {
// 數據清洗/驗證
if (count($fields) < 3) continue;
[$name, $email, $phone] = $fields;
if (!filter_var($email, FILTER_VALIDATE_EMAIL)) continue;
$stmt->execute([$name, $email, $phone]);
$imported++;
}
$pdo->commit();
} catch (Throwable $e) {
$pdo->rollBack();
error_log("Batch offset $offset 失敗: " . $e->getMessage());
}
$offset += $batchSize;
// 進度顯示
if ($imported % 10000 === 0) {
$elapsed = microtime(true) - $startTime;
$speed = $imported / $elapsed;
$eta = ($totalLines - $offset) / $speed;
echo sprintf(
"已導入: %d/%d (%.1f%%) | 速度: %.0f 行/s | ETA: %ds\n",
$imported, $totalLines, $imported/$totalLines*100, $speed, $eta
);
}
// 禮貌讓出 CPU,避免長事務鎖表
usleep(10000); // 10ms
}
echo "完成!共導入 $imported 條,耗時 " . round(microtime(true) - $startTime, 2) . "s\n";
fgets 僅移動文件指針,不分配陣列、不解析分隔符,速度快 **10-50 倍**。
| 批次大小 | 優點 | 缺點 | 建議場景 |
|---|---|---|---|
| 100-500 | 內存極低、事務小、併發友好 | 事務開銷大、總耗時長 | 極大文件 (GB)、低配服務器 |
| 1000-5000 | 平衡 | — | **通用推薦** |
| 10000+ | 事務少、總耗時短 | 內存峰值高、長事務鎖表風險 | 高配服務器、獨享資料庫 |
// 生產者: 將文件切分為多個 chunk 任務推入 Redis Queue
// 消費者: 多進程消費 queue,各自處理一個 offset 範圍
// 協調者: 監控進度、失敗重試、去重 (唯一鍵衝突忽略)
// 任務結構
$task = [
'file' => '/data/huge.csv',
'offset' => 2000000,
'limit' => 10000,
'table' => 'users',
'columns' => ['name','email','phone'],
];
// 自動檢測編碼 (需 mbstring)
$encoding = mb_detect_encoding($line, ['UTF-8', 'GBK', 'GB2312', 'BIG5']);
if ($encoding !== 'UTF-8') {
$line = mb_convert_encoding($line, 'UTF-8', $encoding);
}
// 容錯解析:fgetcsv 遇到破損行可能返回 false 或錯誤欄位數
if ($row === false || count($row) !== $expectedCols) {
error_log("第 $rowNum 行解析異常,已跳過");
continue;
}
// 循環中定期檢查
if (memory_get_usage(true) > 200 * 1024 * 1024) { // 200MB
// 觸發 GC 或暫停
gc_collect_cycles();
sleep(1);
}
| 方案 | 優點 | 缺點 | 適用 |
|---|---|---|---|
| PHP fgetcsv 分批 (本文) | 無依賴、靈活控制、易嵌入業務 | 單進程較慢 | 中等文件、邏輯複雜 |
| LOAD DATA INFILE | MySQL 原生、極快 (GB 級秒級) | 需文件在 DB 服務器、權限嚴格、錯誤處理弱 | 純導入、結構固定、可控環境 |
| Python pandas/chunksize | C 加速、記憶體管理優、生態豐富 | 跨語言調用、部署複雜 | 數據科學團隊、極大文件 |
| ETL 工具 | 可視化、監控、調度、斷點續傳 | 學習成本、重量級 | 企業級數據倉庫 |
**游標分批 + 預處理語句 + 事務批量提交** 是 PHP 處理大 CSV 導入的標準模式。關鍵在於:fgets 快速定位偏移量、fgetcsv 精確解析目標批次、PDO 預處理防注入並提升寫入性能。配合進度監控、錯誤重試、並行消費,可穩定處理 TB 級數據遷移任務。