萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP CSV 迭代器類:實現 Iterator 接口、記憶體高效逐行讀取大文件

處理大型 CSV 文件時,fgetcsv 逐行讀取配合 Iterator 接口可實現惰性流式處理,避免 file() 或 str_getcsv 全量載入導致記憶體耗盡。本文提供一個標準的 CSVIterator 類,支援自定義分隔符、自動資源管理、foreach 直接遍歷。

完整類代碼

<?php
class CSVIterator implements Iterator {
    const ROW_SIZE = 4096; // fgetcsv 最大行長度

    private $filePointer;
    private $currentElement;
    private $rowCounter = 0;
    private $delimiter;

    public function __construct(string $file, string $delimiter = ',') {
        $this->filePointer = fopen($file, 'r');
        if (!$this->filePointer) throw new RuntimeException("無法打開文件: $file");
        $this->delimiter = $delimiter;
    }

    public function rewind(): void {
        $this->rowCounter = 0;
        rewind($this->filePointer);
    }

    public function current(): array|false {
        $this->currentElement = fgetcsv($this->filePointer, self::ROW_SIZE, $this->delimiter);
        $this->rowCounter++;
        return $this->currentElement;
    }

    public function key(): int {
        return $this->rowCounter;
    }

    public function next(): bool {
        return !feof($this->filePointer);
    }

    public function valid(): bool {
        if (!$this->next()) {
            fclose($this->filePointer);
            return false;
        }
        return true;
    }

    public function __destruct() {
        if (is_resource($this->filePointer)) fclose($this->filePointer);
    }
}

// 使用示例
foreach (new CSVIterator('data.csv', ';') as $rowNum => $fields) {
    // $fields = ['col1', 'col2', ...]
    echo "Row $rowNum: " . implode(' | ', $fields) . "\n";
}

設計要點解析

  • 實現 Iterator:滿足 current()、key()、next()、rewind()、valid() 五個方法,原生支援 foreach、iterator_to_array、array_map 等 SPL 函數。
  • 資源生命週期:構造函數打開,valid() 返回 false 時關閉,__destruct 兜底釋放,防止文件句柄洩漏。
  • 行長度限制:ROW_SIZE = 4096 可根據業務最大列數調整(如 100 列 × 50 字符 ≈ 5000),過小導致截斷,過大浪費緩衝區。
  • 分隔符靈活:構造函數注入,支援 CSV(,)、TSV(\t)、自定義分隔符。

進階擴展建議

  1. 標題行映射:增加 withHeaders(bool $firstRowAsHeader = true) 方法,返回關聯數組 ['column_name' => 'value']。
  2. 編碼轉換:構造函數增加 $fromEncoding 參數,內部用 stream_filter_append($this->filePointer, 'convert.iconv.GBK/UTF-8') 透明轉碼。
  3. 錯誤行處理:fgetcsv 返回 false 時記錄行號錯誤並跳過,而非拋出異常中斷整個流程。
  4. 並發安全:若多進程讀取同一文件,需 flock($this->filePointer, LOCK_SH) 共享鎖。
  5. 分片處理:結合 LimitIterator 實現分頁/分批:new LimitIterator(new CSVIterator('big.csv'), 0, 10000)。

替代方案對比

方案記憶體速度功能適用場景
CSVIterator (本文)O(1) 常數快基礎迭代大文件、流式 ETL、CLI 腳本
League\Csv (套件)O(1) / 可分塊快豐富:標題映射、轉換器、驗證器、流式寫入生產級專案、複雜 CSV 業務
fgetcsv 直接循環O(1)最快無封裝一次性腳本、極簡需求
file() + str_getcsvO(N) 全量載入慢簡單小文件 (<10MB)、快速原型

對於超大 CSV(GB 級),建議直接使用 League\Csv 或底層 fgetcsv 結合多進程分片(pcntl_fork / Swoole Task)並行處理,最後歸併結果。

copyright © 萬盛學電腦網 all rights reserved