處理大型 CSV 文件時,fgetcsv 逐行讀取配合 Iterator 接口可實現惰性流式處理,避免 file() 或 str_getcsv 全量載入導致記憶體耗盡。本文提供一個標準的 CSVIterator 類,支援自定義分隔符、自動資源管理、foreach 直接遍歷。
<?php
class CSVIterator implements Iterator {
const ROW_SIZE = 4096; // fgetcsv 最大行長度
private $filePointer;
private $currentElement;
private $rowCounter = 0;
private $delimiter;
public function __construct(string $file, string $delimiter = ',') {
$this->filePointer = fopen($file, 'r');
if (!$this->filePointer) throw new RuntimeException("無法打開文件: $file");
$this->delimiter = $delimiter;
}
public function rewind(): void {
$this->rowCounter = 0;
rewind($this->filePointer);
}
public function current(): array|false {
$this->currentElement = fgetcsv($this->filePointer, self::ROW_SIZE, $this->delimiter);
$this->rowCounter++;
return $this->currentElement;
}
public function key(): int {
return $this->rowCounter;
}
public function next(): bool {
return !feof($this->filePointer);
}
public function valid(): bool {
if (!$this->next()) {
fclose($this->filePointer);
return false;
}
return true;
}
public function __destruct() {
if (is_resource($this->filePointer)) fclose($this->filePointer);
}
}
// 使用示例
foreach (new CSVIterator('data.csv', ';') as $rowNum => $fields) {
// $fields = ['col1', 'col2', ...]
echo "Row $rowNum: " . implode(' | ', $fields) . "\n";
}
Iterator:滿足 current()、key()、next()、rewind()、valid() 五個方法,原生支援 foreach、iterator_to_array、array_map 等 SPL 函數。valid() 返回 false 時關閉,__destruct 兜底釋放,防止文件句柄洩漏。ROW_SIZE = 4096 可根據業務最大列數調整(如 100 列 × 50 字符 ≈ 5000),過小導致截斷,過大浪費緩衝區。withHeaders(bool $firstRowAsHeader = true) 方法,返回關聯數組 ['column_name' => 'value']。$fromEncoding 參數,內部用 stream_filter_append($this->filePointer, 'convert.iconv.GBK/UTF-8') 透明轉碼。fgetcsv 返回 false 時記錄行號錯誤並跳過,而非拋出異常中斷整個流程。flock($this->filePointer, LOCK_SH) 共享鎖。LimitIterator 實現分頁/分批:new LimitIterator(new CSVIterator('big.csv'), 0, 10000)。| 方案 | 記憶體 | 速度 | 功能 | 適用場景 |
|---|---|---|---|---|
CSVIterator (本文) | O(1) 常數 | 快 | 基礎迭代 | 大文件、流式 ETL、CLI 腳本 |
League\Csv (套件) | O(1) / 可分塊 | 快 | 豐富:標題映射、轉換器、驗證器、流式寫入 | 生產級專案、複雜 CSV 業務 |
fgetcsv 直接循環 | O(1) | 最快 | 無封裝 | 一次性腳本、極簡需求 |
file() + str_getcsv | O(N) 全量載入 | 慢 | 簡單 | 小文件 (<10MB)、快速原型 |
對於超大 CSV(GB 級),建議直接使用 League\Csv 或底層 fgetcsv 結合多進程分片(pcntl_fork / Swoole Task)並行處理,最後歸併結果。