萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 大文件 CSV 分批讀取:按行游標定位,百萬行秒級處理

痛點場景

數百 MB 甚至 GB 級 CSV 文件 (百萬行+),file() 或 fgetcsv() 全量讀取會導致內存溢出 (OOM) 或超時。需**流式分批處理**,像數據庫游標一樣按行定位讀取。

核心函數:游標分批讀取

/**
 * CSV 分批讀取:按行偏移量讀取指定行數
 * @param string $csvFile CSV 文件路徑
 * @param int    $lines   讀取行數 (批次大小)
 * @param int    $offset  起始行號 (0-indexed,含表頭則從 1 開始)
 * @return array|false 二維數組 [行號 => [欄位...]] 或失敗 false
 */
function csvGetLines(string $csvFile, int $lines, int $offset = 0): array|false
{
    $fp = fopen($csvFile, 'r');
    if (!$fp) return false;

    // 1. 快速跳過前 $offset 行 (不解析,僅移動指針)
    $i = 0;
    while ($i < $offset && !feof($fp)) {
        fgets($fp); // 僅讀行不解析,極快
        $i++;
    }

    // 2. 讀取目標行並解析 CSV
    $data = [];
    $rowNum = $offset;
    while (count($data) < $lines && ($row = fgetcsv($fp)) !== false) {
        $data[$rowNum] = $row;
        $rowNum++;
    }
    fclose($fp);
    return $data;
}

使用示例

// 讀取第 2,000,001 行起的 1000 行 (跳過表頭 + 200 萬行)
$batch = csvGetLines('/data/huge_export.csv', 1000, 2000000);

foreach ($batch as $lineNum => $fields) {
    // $fields = ['col1', 'col2', ...]
    // 入庫邏輯...
    echo "Line $lineNum: " . implode(' | ', $fields) . "\n";
}

生產級批量導入腳本

<?php
/**
 * 大 CSV 異步分批導入 MySQL
 * 用法: php import_csv.php /path/to/file.csv 1000
 */
$csvFile = $argv[1] ?? '';
$batchSize = (int)($argv[2] ?? 1000);
$pdo = new PDO('mysql:host=localhost;dbname=test;charset=utf8mb4', 'user', 'pass', [
    PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION,
    PDO::ATTR_EMULATE_PREPARES => false,
]);

if (!$csvFile || !is_file($csvFile)) {
    die("Usage: php $argv[0]  [batch_size]\n");
}

// 獲取總行數 (wc -l 極快,或 PHP 統計)
$totalLines = (int)shell_exec("wc -l < " . escapeshellarg($csvFile));
echo "總行數: $totalLines (含表頭)\n";

// 準備預處理語句 (假設表結構固定)
$stmt = $pdo->prepare("INSERT INTO `users` (`name`,`email`,`phone`) VALUES (?,?,?)");

$offset = 1; // 跳過表頭
$imported = 0;
$startTime = microtime(true);

while ($offset < $totalLines) {
    $batch = csvGetLines($csvFile, $batchSize, $offset);
    if (empty($batch)) break;

    $pdo->beginTransaction();
    try {
        foreach ($batch as $fields) {
            // 數據清洗/驗證
            if (count($fields) < 3) continue;
            [$name, $email, $phone] = $fields;
            if (!filter_var($email, FILTER_VALIDATE_EMAIL)) continue;
            
            $stmt->execute([$name, $email, $phone]);
            $imported++;
        }
        $pdo->commit();
    } catch (Throwable $e) {
        $pdo->rollBack();
        error_log("Batch offset $offset 失敗: " . $e->getMessage());
    }

    $offset += $batchSize;
    
    // 進度顯示
    if ($imported % 10000 === 0) {
        $elapsed = microtime(true) - $startTime;
        $speed = $imported / $elapsed;
        $eta = ($totalLines - $offset) / $speed;
        echo sprintf(
            "已導入: %d/%d (%.1f%%) | 速度: %.0f 行/s | ETA: %ds\n",
            $imported, $totalLines, $imported/$totalLines*100, $speed, $eta
        );
    }
    
    // 禮貌讓出 CPU,避免長事務鎖表
    usleep(10000); // 10ms
}

echo "完成!共導入 $imported 條,耗時 " . round(microtime(true) - $startTime, 2) . "s\n";

關鍵優化點

1. 跳過行用 fgets 而非 fgetcsv

fgets 僅移動文件指針,不分配陣列、不解析分隔符,速度快 **10-50 倍**。

2. 批次大小權衡

批次大小優點缺點建議場景
100-500內存極低、事務小、併發友好事務開銷大、總耗時長極大文件 (GB)、低配服務器
1000-5000平衡—**通用推薦**
10000+事務少、總耗時短內存峰值高、長事務鎖表風險高配服務器、獨享資料庫

3. 並行導入架構 (生產級)

// 生產者: 將文件切分為多個 chunk 任務推入 Redis Queue
// 消費者: 多進程消費 queue,各自處理一個 offset 範圍
// 協調者: 監控進度、失敗重試、去重 (唯一鍵衝突忽略)

// 任務結構
$task = [
    'file' => '/data/huge.csv',
    'offset' => 2000000,
    'limit' => 10000,
    'table' => 'users',
    'columns' => ['name','email','phone'],
];

4. 編碼與異常行處理

// 自動檢測編碼 (需 mbstring)
$encoding = mb_detect_encoding($line, ['UTF-8', 'GBK', 'GB2312', 'BIG5']);
if ($encoding !== 'UTF-8') {
    $line = mb_convert_encoding($line, 'UTF-8', $encoding);
}

// 容錯解析:fgetcsv 遇到破損行可能返回 false 或錯誤欄位數
if ($row === false || count($row) !== $expectedCols) {
    error_log("第 $rowNum 行解析異常,已跳過");
    continue;
}

5. 內存監控

// 循環中定期檢查
if (memory_get_usage(true) > 200 * 1024 * 1024) { // 200MB
    // 觸發 GC 或暫停
    gc_collect_cycles();
    sleep(1);
}

替代方案對比

方案優點缺點適用
PHP fgetcsv 分批 (本文)無依賴、靈活控制、易嵌入業務單進程較慢中等文件、邏輯複雜
LOAD DATA INFILEMySQL 原生、極快 (GB 級秒級)需文件在 DB 服務器、權限嚴格、錯誤處理弱純導入、結構固定、可控環境
Python pandas/chunksizeC 加速、記憶體管理優、生態豐富跨語言調用、部署複雜數據科學團隊、極大文件
ETL 工具可視化、監控、調度、斷點續傳學習成本、重量級企業級數據倉庫

總結

**游標分批 + 預處理語句 + 事務批量提交** 是 PHP 處理大 CSV 導入的標準模式。關鍵在於:fgets 快速定位偏移量、fgetcsv 精確解析目標批次、PDO 預處理防注入並提升寫入性能。配合進度監控、錯誤重試、並行消費,可穩定處理 TB 級數據遷移任務。

copyright © 萬盛學電腦網 all rights reserved