萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> Oracle 教學

大表高效去重:四步驟「保留唯一+保留Rowid+交換」實戰

傳統 DELETE 痛點

大表 (數千萬行) 直接 DELETE ... WHERE ROWID NOT IN (...) 產生海量 UNDO/REDO,耗時數小時甚至拋出 SNAPSHOT TOO OLD。

四步驟極速去重法

步驟 1:保留完全唯一的記錄

CREATE TABLE xxfgs_sig AS
SELECT imei,
       MAX(dn) dn, MAX(xlh) xlh, MAX(pro_name) pro_name,
       MAX(area_name) area_name, MAX(brand) brand, MAX(m_type) m_type
FROM xxfgs
GROUP BY imei
HAVING COUNT(*) < 2;  -- 只出現一次的記錄

步驟 2:保留重複組內的單一 Rowid

CREATE TABLE xxfgs_row AS
SELECT MAX(ROWID) rowdata, imei
FROM xxfgs
GROUP BY imei
HAVING COUNT(*) > 1;  -- 重複組各保留一條

步驟 3:刪除原表中多餘 Rowid (兩種寫法)

-- 寫法 A: NOT IN (需注意 NULL 值)
DELETE FROM xxfgs WHERE ROWID NOT IN (SELECT rowdata FROM xxfgs_row);

-- 寫法 B: 相關子查詢 (推薦,避免 NOT IN 陷阱)
DELETE FROM xxfgs a
WHERE a.ROWID <> (SELECT rowdata FROM xxfgs_row b WHERE b.imei = a.imei);

建議對 imei 建立索引加速關聯。

步驟 4:合併結果

INSERT INTO xxfgs_sig SELECT * FROM xxfgs;  -- 現在 xxfgs 只剩去重後資料
-- 或直接 RENAME 表完成切換

效能對比

方法資料量耗時UNDO/REDO
傳統 DELETE5000 萬4+ 小時極大
四步驟法5000 萬15 分鐘極小 (CTAS + 少量 DELETE)

避坑指南

  • 步驟 3 用 <> 子查詢 而非 NOT IN,防 NULL 導致全表刪除
  • 中間表建在同表空間、同分區策略,避免跨表空間移動
  • 操作前備份關鍵表,驗證行數一致性
copyright © 萬盛學電腦網 all rights reserved