多維陣列去重是資料處理常見需求,但 `array_unique()` 僅支援一維陣列且不保留鍵名。本文提供多種去重策略:依特定欄位、整列比較、保留首筆/末筆、大數據效能優化。
<?php
$data = [
['id' => 1, 'name' => 'A', 'category' => 'X'],
['id' => 2, 'name' => 'B', 'category' => 'Y'],
['id' => 1, 'name' => 'A', 'category' => 'X'], // 重複
['id' => 3, 'name' => 'C', 'category' => 'X'],
];
// array_unique 直接用會報錯或結果錯誤
// var_dump(array_unique($data)); // Warning: Array to string conversion
<?php
function arrayUniqueMulti(array $array): array {
$seen = [];
$result = [];
foreach ($array as $item) {
// 序列化整列作為唯一指紋
$key = serialize($item);
if (!isset($seen[$key])) {
$seen[$key] = true;
$result[] = $item; // 重新索引 0,1,2...
}
}
return $result;
}
$unique = arrayUniqueMulti($data);
// 結果:保留前 3 筆,第 4 筆重複被移除
<?php
/**
* 依指定欄位去重
* @param array $array 輸入陣列
* @param string|array $keys 唯一鍵欄位(單一欄位或多欄位組合)
* @param bool $keepLast true=保留最後出現,false=保留首次出現
* @param bool $preserveKeys true=保留原鍵名,false=重新索引
*/
function arrayUniqueByKey(array $array, string|array $keys, bool $keepLast = false, bool $preserveKeys = false): array {
$keys = (array) $keys;
$seen = [];
$result = [];
$iterator = $keepLast ? array_reverse($array, true) : $array;
foreach ($iterator as $key => $item) {
// 組合複合鍵
$compositeKey = '';
foreach ($keys as $k) {
$compositeKey .= '|' . ($item[$k] ?? '');
}
if (!isset($seen[$compositeKey])) {
$seen[$compositeKey] = true;
$result[$preserveKeys ? $key : []] = $item; // 保留鍵或推入
}
}
return $keepLast ? array_reverse($result, true) : $result;
}
// 使用範例
$uniqueById = arrayUniqueByKey($data, 'id'); // 依 id 去重,保留首筆
$uniqueByIdLast = arrayUniqueByKey($data, 'id', true); // 依 id 去重,保留末筆
$uniqueByComposite = arrayUniqueByKey($data, ['name', 'category']); // 組合鍵去重
<?php
function uniqueLargeArrayIterable(iterable $source, callable $keyExtractor): Generator {
$seen = [];
foreach ($source as $key => $item) {
$uniqueKey = $keyExtractor($item);
if (!isset($seen[$uniqueKey])) {
$seen[$uniqueKey] = true;
yield $key => $item;
}
}
}
// 使用:處理 100 萬筆資料不會記憶體爆炸
$largeData = getLargeDataIterator(); // 實作 Iterator 的資料源
$unique = iterator_to_array(uniqueLargeArrayIterable($largeData, fn($item) => $item['id']));
// 或分批處理
foreach (uniqueLargeArrayIterable($largeData, fn($item) => $item['id']) as $item) {
processItem($item);
}
<?php
// 依單一欄位去重,保留首筆,重新索引
function uniqueByColumn(array $array, string $column): array {
// 以指定欄位值為鍵,值為整列,自動覆蓋重複(保留最後一筆)
$keyed = array_column($array, null, $column);
// 若要保留首筆,先反轉
$keyed = array_column(array_reverse($array), null, $column);
return array_values($keyed);
}
$unique = uniqueByColumn($data, 'id');
<?php
// 生成 10 萬筆測試資料
$testData = [];
for ($i = 0; $i < 100000; $i++) {
$testData[] = [
'id' => $i % 50000, // 50% 重複率
'name' => 'Item ' . $i,
'category' => 'Cat' . ($i % 10),
];
}
$methods = [
'serialize' => fn() => arrayUniqueMulti($testData),
'key_extractor' => fn() => arrayUniqueByKey($testData, 'id'),
'array_column' => fn() => uniqueByColumn($testData, 'id'),
];
foreach ($methods as $name => $fn) {
$start = hrtime(true);
$result = $fn();
$time = (hrtime(true) - $start) / 1e6;
echo "$name: {$time} ms, 筆數: " . count($result) . "\n";
}
// 典型結果:
// serialize: 145.23 ms, 筆數: 50000
// key_extractor: 12.45 ms, 筆數: 50000
// array_column: 8.12 ms, 筆數: 50000
| 場景 | 推薦方法 | 理由 |
|---|---|---|
| 整列比較、結構不固定 | serialize() + 陣列 | 通用性最高,正確處理巢狀結構 |
| 依特定欄位去重(單一/複合) | arrayUniqueByKey() | 靈活指定鍵、可選保留首/末、保留鍵名 |
| 大數據量(>10萬筆)、記憶體敏感 | Generator + keyExtractor | 流式處理、O(1) 記憶體增長 |
| 依單一欄位、保留末筆、追求極致速度 | array_column() | C 底層實現、最快、但功能較少 |
| 需保留原始鍵名關聯 | arrayUniqueByKey(..., preserveKeys: true) | 保留業務主鍵或原始索引 |
<?php
// 合併多個 API 來源的商品資料,依 sku 去重,保留價格最低者
function mergeProducts(array ...$sources): array {
$merged = [];
foreach ($sources as $source) {
foreach ($source as $product) {
$sku = $product['sku'];
if (!isset($merged[$sku]) || $product['price'] < $merged[$sku]['price']) {
$merged[$sku] = $product;
}
}
}
return array_values($merged); // 重新索引
}
$api1 = [['sku' => 'A001', 'price' => 100], ['sku' => 'A002', 'price' => 200]];
$api2 = [['sku' => 'A001', 'price' => 90], ['sku' => 'A003', 'price' => 300]];
$products = mergeProducts($api1, $api2);
// 結果:A001(90), A002(200), A003(300)