萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 網路程式設計 >> PHP 程式設計

PHP 數組高效排重:百萬級數據處理實戰

前言

在日常開發中,經常需要對大量用戶數據(如 UID、手機號、Email)進行去重,以避免重複發送站內信、短信或郵件。當數據量達到百萬行以上時,如何高效完成排重成為關鍵問題。本文將介紹利用 PHP 數組「鍵值唯一」特性實現的高性能排重方案,並提供單文件與多文件合併排重的完整代碼示例。

核心原理:PHP 數組的鍵唯一性

PHP 數組本質上是一個有序映射,其鍵具有唯一性。當我們以待排重的值(如 UID)作為數組鍵時,重複的值會自動覆蓋,從而實現去重。這種基於哈希表的實現,時間複雜度接近 O(1),非常適合大規模數據處理。

單文件排重實現

假設有一個包含百萬行 UID 的文本文件 test.txt,每行一個 UID,可能包含重複值。以下代碼演示如何讀取文件、排重並將結果寫入新文件:

<?php
// 存放排重結果的數組
$result = array();

// 打開文件讀取
$fp = fopen('test.txt', 'r');
while (!feof($fp)) {
    $uid = fgets($fp);
    $uid = trim($uid);          // 去除首尾空白
    $uid = trim($uid, "\r");    // 去除換行符
    $uid = trim($uid, "\n");
    if ($uid === '') {
        continue;               // 跳過空行
    }
    // 以 UID 為鍵,若不存在則加入
    if (empty($result[$uid])) {
        $result[$uid] = 1;
    }
}
fclose($fp);

// 將結果寫入文件
$content = '';
foreach ($result as $k => $v) {
    $content .= $k . "\n";
}
$fp = fopen('result.txt', 'w');
fwrite($fp, $content);
fclose($fp);
?>

僅 20 多行代碼即可高效完成百萬級數據排重,同樣適用於手機號、Email 等場景。

多文件合併排重

若有兩個 UID 列表文件(test_1.txt、test_2.txt),需合併並去重,思路相同:先讀取第一個文件建立鍵值,再讀取第二個文件時只添加不存在的鍵。

<?php
$result = array();

// 處理第一個文件
$fp = fopen('test_1.txt', 'r');
while (!feof($fp)) {
    $uid = trim(fgets($fp), "\r\n");
    if ($uid !== '') {
        $result[$uid] = 1;      // 直接賦值,重複自動覆蓋
    }
}
fclose($fp);

// 處理第二個文件,只添加不存在的鍵
$fp = fopen('test_2.txt', 'r');
while (!feof($fp)) {
    $uid = trim(fgets($fp), "\r\n");
    if ($uid !== '' && empty($result[$uid])) {
        $result[$uid] = 1;
    }
}
fclose($fp);

// $result 即為合併排重後的結果,可輸出到文件
// ...輸出代碼同上
?>

總結與擴展

利用 PHP 數組鍵的唯一性進行排重,代碼簡潔、效率高、記憶體佔用相對可控。對於更大規模數據(如千萬級),可考慮分批處理或結合 Redis Bitmap、布隆過濾器等方案。但對於大多數百萬級業務場景,上述方法已足夠實用。

copyright © 萬盛學電腦網 all rights reserved