在日常開發中,經常需要對大量用戶數據(如 UID、手機號、Email)進行去重,以避免重複發送站內信、短信或郵件。當數據量達到百萬行以上時,如何高效完成排重成為關鍵問題。本文將介紹利用 PHP 數組「鍵值唯一」特性實現的高性能排重方案,並提供單文件與多文件合併排重的完整代碼示例。
PHP 數組本質上是一個有序映射,其鍵具有唯一性。當我們以待排重的值(如 UID)作為數組鍵時,重複的值會自動覆蓋,從而實現去重。這種基於哈希表的實現,時間複雜度接近 O(1),非常適合大規模數據處理。
假設有一個包含百萬行 UID 的文本文件 test.txt,每行一個 UID,可能包含重複值。以下代碼演示如何讀取文件、排重並將結果寫入新文件:
<?php
// 存放排重結果的數組
$result = array();
// 打開文件讀取
$fp = fopen('test.txt', 'r');
while (!feof($fp)) {
$uid = fgets($fp);
$uid = trim($uid); // 去除首尾空白
$uid = trim($uid, "\r"); // 去除換行符
$uid = trim($uid, "\n");
if ($uid === '') {
continue; // 跳過空行
}
// 以 UID 為鍵,若不存在則加入
if (empty($result[$uid])) {
$result[$uid] = 1;
}
}
fclose($fp);
// 將結果寫入文件
$content = '';
foreach ($result as $k => $v) {
$content .= $k . "\n";
}
$fp = fopen('result.txt', 'w');
fwrite($fp, $content);
fclose($fp);
?>
僅 20 多行代碼即可高效完成百萬級數據排重,同樣適用於手機號、Email 等場景。
若有兩個 UID 列表文件(test_1.txt、test_2.txt),需合併並去重,思路相同:先讀取第一個文件建立鍵值,再讀取第二個文件時只添加不存在的鍵。
<?php
$result = array();
// 處理第一個文件
$fp = fopen('test_1.txt', 'r');
while (!feof($fp)) {
$uid = trim(fgets($fp), "\r\n");
if ($uid !== '') {
$result[$uid] = 1; // 直接賦值,重複自動覆蓋
}
}
fclose($fp);
// 處理第二個文件,只添加不存在的鍵
$fp = fopen('test_2.txt', 'r');
while (!feof($fp)) {
$uid = trim(fgets($fp), "\r\n");
if ($uid !== '' && empty($result[$uid])) {
$result[$uid] = 1;
}
}
fclose($fp);
// $result 即為合併排重後的結果,可輸出到文件
// ...輸出代碼同上
?>
利用 PHP 數組鍵的唯一性進行排重,代碼簡潔、效率高、記憶體佔用相對可控。對於更大規模數據(如千萬級),可考慮分批處理或結合 Redis Bitmap、布隆過濾器等方案。但對於大多數百萬級業務場景,上述方法已足夠實用。