萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> Oracle 教學

Oracle 資料庫去重實戰:完全重複與部分欄位重複的高效刪除策略

情境一:完全重複資料(所有欄位相同)

-- 1. 建立臨時表存放去重後資料
CREATE TABLE "#temp" AS (SELECT DISTINCT * FROM 目標表);

-- 2. 清空原表
TRUNCATE TABLE 目標表;

-- 3. 將去重資料寫回
INSERT INTO 目標表 SELECT * FROM "#temp";

-- 4. 刪除臨時表
DROP TABLE "#temp";

情境二:部分關鍵欄位重複(保留最新一筆)

步驟 1:查詢重複群組

SELECT 欄位1, 欄位2, COUNT(*)
FROM 目標表
GROUP BY 欄位1, 欄位2
HAVING COUNT(*) > 1;

步驟 2:低效率直刪(不建議大量資料)

DELETE FROM 目標表 a
WHERE (a.欄位1, a.欄位2) IN (
    SELECT 欄位1, 欄位2 FROM 目標表
    GROUP BY 欄位1, 欄位2 HAVING COUNT(*) > 1
);

步驟 3:高效率臨時表法

-- 建立重複鍵值臨時表
CREATE TABLE 臨時表 AS
SELECT 欄位1, 欄位2 FROM 目標表
GROUP BY 欄位1, 欄位2 HAVING COUNT(*) > 1;

-- 刪除時直接引用臨時表
DELETE FROM 目標表 a
WHERE (a.欄位1, a.欄位2) IN (SELECT 欄位1, 欄位2 FROM 臨時表);

步驟 4:利用隱藏 ROWID 保留最新記錄

Oracle 每列隱含 ROWID 唯一識別。保留 ROWID 最大(最新)的一筆:

-- 查詢除最新外的重複資料
SELECT a.rowid, a.*
FROM 目標表 a
WHERE a.rowid != (
    SELECT MAX(b.rowid)
    FROM 目標表 b
    WHERE a.欄位1 = b.欄位1
      AND a.欄位2 = b.欄位2
);

-- 刪除,保留最新
DELETE FROM 目標表 a
WHERE a.rowid != (
    SELECT MAX(b.rowid)
    FROM 目標表 b
    WHERE a.欄位1 = b.欄位1
      AND a.欄位2 = b.欄位2
);

步驟 5:大量資料優化版(臨時表預存 MAX(ROWID))

-- 建立臨時表:每組關鍵欄位保留最大 ROWID
CREATE TABLE 臨時表 AS
SELECT a.欄位1, a.欄位2, MAX(a.ROWID) AS dataid
FROM 正式表 a
GROUP BY a.欄位1, a.欄位2;

-- 刪除非最大 ROWID
DELETE FROM 正式表 a
WHERE a.rowid != (
    SELECT b.dataid FROM 臨時表 b
    WHERE a.欄位1 = b.欄位1
      AND a.欄位2 = b.欄位2
);
COMMIT;
copyright © 萬盛學電腦網 all rights reserved