如何利用php數組對百萬數據進行排重

如何利用php數組對百萬數據進行排重

在平時的工作中，經常接到要對網站的會員進行站內信、手機短信、email進行群發信息的通知，用戶列表一般由別的同事提供，當中難免會有重復，為了避免重復發送，所以我在進行發送信息前要對他們提供的用戶列表進行排重，下面我以uid列表來講講我是如何利用php數組進行排重的。

假如得到一個uid列表，數量在百萬行以上，格式如下：

10001000

10001001

10001002

................

10001000

................

10001111

其實利用php數組的特性，很好進行排重，我們先來看一下php數組的定義：PHP 中的數組實際上是一個有序映射。映射是一種把 values 關聯到 keys 的類型。此類型在很多方面做了優化，因此可以把它當成真正的數組，或列表（向量），散列表（是映射的一種實現），字典，集合，棧，隊列以及更多可能性。數組元素的值也可以是另一個數組。樹形結構和多維數組也是允許的。

在php的數組中，鍵（keys）也稱為索引，具有唯一性，我們正可以利用這一特性進行排重，示例代碼如下：

<?php
//定義一個數組，用於存放排重後的結果
$result = array();
//讀取uid列表文件
$fp = fopen('test.txt', 'r');

while(!feof($fp))
{
    $uid = fgets($fp);
    $uid = trim($uid);
    $uid = trim($uid, "r");
    $uid = trim($uid, "n");

    if($uid == '')
    {
        continue;
    }
    //以uid為key去看該值是否存在
    if(empty($result[$uid]))
    {
        $result[$uid] = 1;
    }
}

fclose($fp);

//將結果保存到文件
$content = '';
foreach($result as $k => $v)
{
    $content .= $k."n";
}
$fp = fopen('result.txt', 'w');
fwrite($fp, $content);
fclose($fp);
?>

20多行代碼，就可以對百萬以上的數據進行排重，效率也不錯，非常實用。手機號、email，也可以采用這種方式進行排重。

還有，這可方法還可以用於兩個文件進行排重的工作，如果你有兩個uid列表文件，格式和上面的uid列表一樣，示例程序如下：

<?php
//定義數組，用於存放排重後的結果
$result = array();
//讀取第一個uid列表文件，放入$result_1
$fp = fopen('test_1.txt', 'r');

while(!feof($fp))
{
    $uid = fgets($fp);
    $uid = trim($uid);
    $uid = trim($uid, "r");
    $uid = trim($uid, "n");

    if($uid == '')
    {
        continue;
    }
    //以uid為key寫入$result，如有重復就會覆蓋
    $result[$uid] = 1;
}

fclose($fp);

//讀取第二個uid列表文件，並進行排重操作
$fp = fopen('test_2.txt', 'r');
while(!feof($fp))
{
    $uid = fgets($fp);
    $uid = trim($uid);
    $uid = trim($uid, "r");
    $uid = trim($uid, "n");

    if($uid == '')
    {
        continue;
    }
    //以uid為key去看該值是否存在
    if(empty($result[$uid]))
    {
        $result[$uid] = 1;
    }
}
fclose($fp);

//$result裡保存的就排重以後的結果，可以輸出到文件，代碼省略
?>

 

仔細想想，不難發現，利用數組的這一特性還可以解決我們工作中的更多問題。