處理大量資料(如 50 萬筆日誌)時,PHP 輕易觸發 Allowed memory size exhausted。本文深入剖析記憶體管理機制,提供分批處理、變數銷毀、引用計數等實戰策略。
<?php
// 場景:處理 50 萬筆日誌記錄
ini_set('memory_limit', '256M'); // 適度提升上限
set_time_limit(0); // 移除執行時間限制
$rootPath = '/data/logs/' . date('Y-m');
$batchSize = 10000; // 每批處理筆數
$delimiter = '$@#!$'; // 日誌欄位分隔符
$aggregated = [
'urls' => [],
'marks' => [],
'ips' => [],
];
// 逐小時檔案處理
for ($hour = 0; $hour < 24; $hour++) {
$file = sprintf("%s/%02d.php", $rootPath, $hour);
if (!file_exists($file)) continue;
// 逐行讀取,避免 file() 一次載入整檔
$fp = fopen($file, 'r');
if (!$fp) continue;
// 跳過首行(通常為 )
fgets($fp);
$batch = [];
while (($line = fgets($fp)) !== false) {
$batch[] = $line;
// 累積達批次大小,處理並釋放
if (count($batch) >= $batchSize) {
process_batch($batch, $aggregated, $delimiter);
$batch = []; // 關鍵:重置陣列釋放記憶體
}
}
// 處理剩餘
if ($batch) {
process_batch($batch, $aggregated, $delimiter);
}
fclose($fp);
}
// 最終統計輸出
echo "URL 統計: " . count(array_count_values($aggregated['urls'])) . "\n";
echo "標記統計: " . count(array_count_values($aggregated['marks'])) . "\n";
echo "IP 統計: " . count(array_count_values($aggregated['ips'])) . "\n";
function process_batch(array &$lines, array &$aggregated, string $delimiter): void {
foreach ($lines as $line) {
$parts = explode($delimiter, $line);
if (count($parts) < 4) continue;
$aggregated['urls'][] = $parts[1];
$aggregated['marks'][] = $parts[2];
$aggregated['ips'][] = $parts[3] . ' | ' . $parts[1];
}
// $lines 由呼叫端重置釋放
}
?>
<?php
/**
* 記憶體高效的 CSV/日誌讀取生成器
* 一次只在記憶體保留一行資料
*/
function read_lines(string $filepath): Generator {
$fp = fopen($filepath, 'r');
if (!$fp) return;
try {
while (($line = fgets($fp)) !== false) {
yield rtrim($line, "\r\n");
}
} finally {
fclose($fp);
}
}
// 使用:記憶體佔用恆定,不隨檔案大小增長
foreach (read_lines('/data/huge.log') as $line) {
// 處理單行
$data = parse_log_line($line);
aggregate_data($data);
}
// 迴圈結束自動釋放檔案控制代碼
?>
<?php
// 測試 255 位元組(未達閾值)
$s = str_repeat('1', 255);
$m1 = memory_get_usage();
unset($s);
$m2 = memory_get_usage();
echo "255 bytes: " . ($m1 - $m2) . " bytes freed\n"; // 輸出 0
// 測試 256 位元組(達到閾值)
$s = str_repeat('1', 256);
$m1 = memory_get_usage();
unset($s);
$m2 = memory_get_usage();
echo "256 bytes: " . ($m1 - $m2) . " bytes freed\n"; // 輸出 ~272 bytes
?>
結論 1:PHP 對小字串(< 256 bytes)使用內部快取,unset() 不立即釋放記憶體給 OS,而是歸還給 Zend 記憶體管理器的快取池。
<?php
$s = str_repeat('1', 256);
$p = &$s; // 建立引用
$m1 = memory_get_usage();
unset($s); // 僅移除 $s 符號表項目,$p 仍引用該 zval
$m2 = memory_get_usage();
echo "unset(\$s) only: " . ($m1 - $m2) . " bytes\n"; // 0 bytes
echo "\$p still exists: " . strlen($p) . "\n"; // 256
// 必須同時銷毀所有引用
unset($p);
$m3 = memory_get_usage();
echo "unset(\$p) after: " . ($m1 - $m3) . " bytes\n"; // ~272 bytes
?>
結論 2:PHP 使用**引用計數**管理記憶體。只有當變數的 `refcount` 歸零時,底層 `zval` 才會被釋放。單獨 `unset()` 某個引用變數**不會**釋放記憶體。
<?php
// 錯誤示範
$bigData = load_huge_array();
$ref = &$bigData;
unset($bigData); // 記憶體未釋放!
process($ref);
// 正確做法 1:不使用引用
$bigData = load_huge_array();
process($bigData); // 函數參數預設傳值(寫時複製)
unset($bigData); // 記憶體釋放
// 正確做法 2:若需引用,確保所有引用都銷毀
$bigData = load_huge_array();
$ref = &$bigData;
process($ref);
unset($bigData, $ref); // 同時銷毀
// 正確做法 3:賦值 null(等同於 unset 但語意更清晰)
$bigData = null; // refcount -1,若為 0 則釋放
?>
fgets()、Generator、SplFileObject 逐行處理$arr = [] 或 unset($arr)&$var,PHP 7+ 寫時複製機制已極度優化fclose()、mysqli_close()、curl_close()、PDO = nullmemory_get_usage(true)(含分配記憶體)、memory_get_peak_usage()、Xdebug Profiler、Blackfire.ioPHP 記憶體管理核心在於**引用計數**與**寫時複製**。解決溢出的關鍵不是單純調大 memory_limit,而是**架構層面的流式處理**、**生命週期結束時主動釋放**、**避免不必要的引用持有**。生成器模式是現代 PHP 處理大數據的標準解法。