萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 記憶體溢出深度解析:分批處理、unset 機制與引用計數陷阱

問題背景

處理大量資料(如 50 萬筆日誌)時,PHP 輕易觸發 Allowed memory size exhausted。本文深入剖析記憶體管理機制,提供分批處理、變數銷毀、引用計數等實戰策略。

策略一:分批處理與及時釋放(核心方案)

<?php
// 場景:處理 50 萬筆日誌記錄
ini_set('memory_limit', '256M'); // 適度提升上限
set_time_limit(0); // 移除執行時間限制

$rootPath = '/data/logs/' . date('Y-m');
$batchSize = 10000; // 每批處理筆數
$delimiter = '$@#!$'; // 日誌欄位分隔符

$aggregated = [
    'urls' => [],
    'marks' => [],
    'ips' => [],
];

// 逐小時檔案處理
for ($hour = 0; $hour < 24; $hour++) {
    $file = sprintf("%s/%02d.php", $rootPath, $hour);
    if (!file_exists($file)) continue;
    
    // 逐行讀取,避免 file() 一次載入整檔
    $fp = fopen($file, 'r');
    if (!$fp) continue;
    
    // 跳過首行(通常為 )
    fgets($fp);
    
    $batch = [];
    while (($line = fgets($fp)) !== false) {
        $batch[] = $line;
        
        // 累積達批次大小,處理並釋放
        if (count($batch) >= $batchSize) {
            process_batch($batch, $aggregated, $delimiter);
            $batch = []; // 關鍵:重置陣列釋放記憶體
        }
    }
    
    // 處理剩餘
    if ($batch) {
        process_batch($batch, $aggregated, $delimiter);
    }
    
    fclose($fp);
}

// 最終統計輸出
echo "URL 統計: " . count(array_count_values($aggregated['urls'])) . "\n";
echo "標記統計: " . count(array_count_values($aggregated['marks'])) . "\n";
echo "IP 統計: " . count(array_count_values($aggregated['ips'])) . "\n";

function process_batch(array &$lines, array &$aggregated, string $delimiter): void {
    foreach ($lines as $line) {
        $parts = explode($delimiter, $line);
        if (count($parts) < 4) continue;
        
        $aggregated['urls'][] = $parts[1];
        $aggregated['marks'][] = $parts[2];
        $aggregated['ips'][] = $parts[3] . ' | ' . $parts[1];
    }
    // $lines 由呼叫端重置釋放
}
?>

策略二:生成器 實現惰性讀取(PHP 5.5+)

<?php
/**
 * 記憶體高效的 CSV/日誌讀取生成器
 * 一次只在記憶體保留一行資料
 */
function read_lines(string $filepath): Generator {
    $fp = fopen($filepath, 'r');
    if (!$fp) return;
    
    try {
        while (($line = fgets($fp)) !== false) {
            yield rtrim($line, "\r\n");
        }
    } finally {
        fclose($fp);
    }
}

// 使用:記憶體佔用恆定,不隨檔案大小增長
foreach (read_lines('/data/huge.log') as $line) {
    // 處理單行
    $data = parse_log_line($line);
    aggregate_data($data);
}
// 迴圈結束自動釋放檔案控制代碼
?>

深度解析:unset() 與引用計數機制

實驗 1:字串長度與記憶體釋放閾值

<?php
// 測試 255 位元組(未達閾值)
$s = str_repeat('1', 255);
$m1 = memory_get_usage();
unset($s);
$m2 = memory_get_usage();
echo "255 bytes: " . ($m1 - $m2) . " bytes freed\n"; // 輸出 0

// 測試 256 位元組(達到閾值)
$s = str_repeat('1', 256);
$m1 = memory_get_usage();
unset($s);
$m2 = memory_get_usage();
echo "256 bytes: " . ($m1 - $m2) . " bytes freed\n"; // 輸出 ~272 bytes
?>

結論 1:PHP 對小字串(< 256 bytes)使用內部快取,unset() 不立即釋放記憶體給 OS,而是歸還給 Zend 記憶體管理器的快取池。

實驗 2:引用計數與記憶體釋放

<?php
$s = str_repeat('1', 256);
$p = &$s; // 建立引用

$m1 = memory_get_usage();
unset($s); // 僅移除 $s 符號表項目,$p 仍引用該 zval
$m2 = memory_get_usage();
echo "unset(\$s) only: " . ($m1 - $m2) . " bytes\n"; // 0 bytes
echo "\$p still exists: " . strlen($p) . "\n"; // 256

// 必須同時銷毀所有引用
unset($p);
$m3 = memory_get_usage();
echo "unset(\$p) after: " . ($m1 - $m3) . " bytes\n"; // ~272 bytes
?>

結論 2:PHP 使用**引用計數**管理記憶體。只有當變數的 `refcount` 歸零時,底層 `zval` 才會被釋放。單獨 `unset()` 某個引用變數**不會**釋放記憶體。

正確釋放策略

<?php
// 錯誤示範
$bigData = load_huge_array();
$ref = &$bigData;
unset($bigData); // 記憶體未釋放!
process($ref);

// 正確做法 1:不使用引用
$bigData = load_huge_array();
process($bigData); // 函數參數預設傳值(寫時複製)
unset($bigData); // 記憶體釋放

// 正確做法 2:若需引用,確保所有引用都銷毀
$bigData = load_huge_array();
$ref = &$bigData;
process($ref);
unset($bigData, $ref); // 同時銷毀

// 正確做法 3:賦值 null(等同於 unset 但語意更清晰)
$bigData = null; // refcount -1,若為 0 則釋放
?>

生產環境記憶體優化檢查清單

  1. 避免一次性載入大檔:使用 fgets()、Generator、SplFileObject 逐行處理
  2. 及時 unset 大變數:迴圈中重複使用大陣列前,先 $arr = [] 或 unset($arr)
  3. 慎用引用:除非明確需要修改原變數,否則避免 &$var,PHP 7+ 寫時複製機制已極度優化
  4. 關閉資源:fclose()、mysqli_close()、curl_close()、PDO = null
  5. 啟用 OPcache:編譯後 bytecode 快存,減少記憶體佔用
  6. 監控工具:memory_get_usage(true)(含分配記憶體)、memory_get_peak_usage()、Xdebug Profiler、Blackfire.io

總結

PHP 記憶體管理核心在於**引用計數**與**寫時複製**。解決溢出的關鍵不是單純調大 memory_limit,而是**架構層面的流式處理**、**生命週期結束時主動釋放**、**避免不必要的引用持有**。生成器模式是現代 PHP 處理大數據的標準解法。

copyright © 萬盛學電腦網 all rights reserved