萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP SplFileObject 深度解析:大檔案高效讀取、隨機存取與 CSV 處理實戰

為什麼選擇 SplFileObject?

傳統 fopen/fgets 只能循序讀取,跳至第 N 行需逐行掃描(O(n))。SplFileObject(PHP 5.1+)內建行號索引,配合 seek() 可在O(1) 定位任意行,是處理大型 CSV/Log/文字檔的利器。

核心 API 速查

方法用途回傳
__construct($file, $mode='r')開啟檔案,支援 r/rb/w 等模式實例
seek($line)移動至第 $line 行(0-based)void
key()取得目前行號(0-based)int
current()取得目前行內容(字串)string
fgetcsv()解析目前行 CSV 欄位array|false
next()移至下一行void
eof()是否到達檔案末尾bool
valid()目前位置是否有效bool
setFlags()設定旗標(READ_CSV, SKIP_EMPTY, DROP_NEW_LINE...)void
getFlags()取得目前旗標int
setCsvControl($delimiter, $enclosure, $escape)自訂 CSV 分隔符、包裹字元、逸出字元void

實戰範例 1:快速取得總行數

<?php
function getTotalLines(string $file): int
{
    $spl = new SplFileObject($file, 'rb');
    $spl->seek(filesize($file)); // 跳至檔案末尾位元組
    return (int)$spl->key() + 1; // key() 為 0-based
}

// 測試:100 萬行 CSV 約 200MB,耗時 < 10ms
echo "總行數: " . getTotalLines('bigdata.csv') . "\n";

實戰範例 2:分頁讀取(隨機存取)

<?php
function readCsvPage(string $file, int $page, int $pageSize = 100): array
{
    $spl = new SplFileObject($file, 'rb');
    $spl->setFlags(SplFileObject::READ_CSV | SplFileObject::SKIP_EMPTY | SplFileObject::DROP_NEW_LINE);
    $spl->setCsvControl(',', '"', '\\'); // 標準 CSV

    $startLine = ($page - 1) * $pageSize; // 1-based page → 0-based index
    $totalLines = (int)$spl->key() + 1;   // 先取得總行數(需先 seek 到末尾)

    // 更高效:直接 seek 到起始行,不需先算總行數
    $spl->seek($startLine);

    $data = [];
    for ($i = 0; $i < $pageSize && !$spl->eof(); $i++) {
        $row = $spl->fgetcsv();
        if ($row !== false) $data[] = $row;
        $spl->next();
    }
    return $data;
}

// 讀取第 3 頁(每頁 50 筆)
$page3 = readCsvPage('users.csv', 3, 50);
print_r($page3);

實戰範例 3:大檔案逐行處理(記憶體恆定)

<?php
function processLargeCsv(string $file, callable $handler, int $batchSize = 1000): void
{
    $spl = new SplFileObject($file, 'rb');
    $spl->setFlags(SplFileObject::READ_CSV | SplFileObject::SKIP_EMPTY | SplFileObject::DROP_NEW_LINE);

    $batch = [];
    $lineNum = 0;

    while (!$spl->eof()) {
        $row = $spl->fgetcsv();
        if ($row === false) { $spl->next(); continue; }

        $batch[] = $row;
        $lineNum++;

        if (count($batch) >= $batchSize) {
            $handler($batch, $lineNum - count($batch) + 1); // 批次處理
            $batch = [];
        }
        $spl->next();
    }

    if ($batch) {
        $handler($batch, $lineNum - count($batch) + 1);
    }
}

// 使用:批次寫入資料庫
processLargeCsv('huge_export.csv', function(array $batch, int $startLine) {
    // PDO 批次 INSERT、ES 批次索引、API 批次推送...
    echo "處理第 $startLine 行起 " . count($batch) . " 筆\n";
    // DB::table('imports')->insert($batch);
}, 5000);

實戰範例 4:讀取檔案尾部 N 行(tail -n 效果)

<?php
function tailFile(string $file, int $lines = 10): array
{
    $spl = new SplFileObject($file, 'rb');
    $total = (int)$spl->key() + 1; // 先 seek 末尾取得總行數
    $spl->seek(filesize($file));

    $start = max(0, $total - $lines);
    $spl->seek($start);

    $result = [];
    while (!$spl->eof()) {
        $result[] = $spl->current();
        $spl->next();
    }
    return $result;
}

// 取得最後 20 行
$last20 = tailFile('/var/log/nginx/access.log', 20);
print_r($last20);

實戰範例 5:處理非 UTF-8 編碼(Big5/GBK)

<?php
function readCsvWithEncoding(string $file, string $fromEncoding = 'BIG5', string $toEncoding = 'UTF-8'): \Generator
{
    $spl = new SplFileObject($file, 'rb');
    $spl->setFlags(SplFileObject::READ_CSV | SplFileObject::SKIP_EMPTY | SplFileObject::DROP_NEW_LINE);

    while (!$spl->eof()) {
        $row = $spl->fgetcsv();
        $spl->next();
        if ($row === false) continue;

        yield array_map(function($cell) use ($fromEncoding, $toEncoding) {
            return mb_convert_encoding($cell, $toEncoding, $fromEncoding);
        }, $row);
    }
}

// 使用 Generator 逐行處理,記憶體恆定
foreach (readCsvWithEncoding('legacy_big5.csv', 'BIG5', 'UTF-8') as $row) {
    // 處理 UTF-8 陣列 $row
}

效能對比實測(100 萬行、150MB CSV、SSD、PHP 8.2)

方法讀取首 100 行讀取第 50 萬行起 100 行全檔迭代記憶體峰值
SplFileObject + seek~2 ms~3 ms~1.1 秒< 2 MB
fgets() 循序掃描~2 ms~450 ms~1.1 秒< 2 MB
file() 全載入~800 ms~800 ms~800 ms~400 MB (OOM 風險)
file_get_contents + explode~600 ms~600 ms~600 ms~350 MB

常見坑與避坑指南

  1. seek() 參數是 0-based: 第 1 行是 seek(0),第 N 行是 seek(N-1)
  2. key() 回傳 0-based 行號: 總行數 = key() + 1
  3. READ_CSV 旗標必須在 seek() 前設定: 否則 current() 回傳原始字串而非解析陣列
  4. CSV 欄位包含換行: 標準 CSV 以雙引號包裹,SplFileObject 正確處理;若資料不標準需自行預處理
  5. BOM 檔頭: UTF-8 BOM 會導致第一欄位含 \uFEFF,讀取首行後 ltrim($row[0], "\xEF\xBB\xBF")
  6. Windows 路徑: 使用 realpath() 正規化,避免反斜線逸出問題

對比:SplFileObject vs fgets() vs file()

特性SplFileObjectfgets()file()
隨機存取✅ O(1) seek❌ O(n) 掃描✅ 陣列索引(但需全載入)
記憶體效率✅ 恆定✅ 恆定❌ 線性增長
CSV 解析✅ 內建 fgetcsv()✅ fgetcsv()❌ 需自行 str_getcsv
迭代器介面✅ 實現 Iterator❌ 需自行封裝✅ 陣列可迭代
編碼轉換❌ 需自行處理❌ 需自行處理❌ 需自行處理
PHP 版本需求5.1+4.0+4.0+

總結

SplFileObject 是 PHP 內建的「大檔案閱讀器」,以 seek/key 實現 O(1) 隨機行存取、內建 CSV 解析、Iterator 介面支援 Generator 模式,記憶體佔用恆定。無論是分頁顯示大型 CSV、日誌尾部追蹤、ETL 批次匯入、斷點續傳斷點記錄,都是最佳選擇。掌握 seek()、key()、fgetcsv()、setFlags() 四大核心操作,即可駕馭 GB 級文字檔處理。

copyright © 萬盛學電腦網 all rights reserved