萬盛學電腦網

您现在的位置: 萬盛學電腦網 >> 程式設計 >  >> 資料庫 >> MySQL 教學

SQL Server 查詢去除重複資料:DISTINCT 與 ROW_NUMBER 進階技巧

實務中常見兩類「去重」需求:完全重複列、關鍵欄位重複但保留最新/最舊一筆。本文示範標準寫法與高效能視窗函數寫法。

情況一:完全重複列(所有欄位相同)

CREATE TABLE #t (用戶ID INT, 姓名 VARCHAR(10), 年齡 INT);
INSERT INTO #t VALUES
(111, '張三', 26), (222, '李四', 25), (333, '王五', 30), (111, '張三', 26);

-- 直接去重
SELECT DISTINCT * FROM #t;

情況二:關鍵欄位重複,保留日期最新的一筆

範例:同用戶多筆記錄,保留 日期 最大者。

CREATE TABLE #t2 (用戶ID INT, 姓名 VARCHAR(10), 年齡 INT, 日期 DATETIME);
INSERT INTO #t2 VALUES
(111, '張三', 26, '2010-02-23'),
(222, '李四', 25, '2010-03-13'),
(333, '王五', 30, '2011-03-25'),
(111, '張三', 26, '2011-07-07');

-- 寫法 1:NOT EXISTS 相關子查詢
SELECT * FROM #t2 a
WHERE NOT EXISTS (
    SELECT 1 FROM #t2 
    WHERE 用戶ID = a.用戶ID AND 姓名 = a.姓名 AND 日期 > a.日期
);

-- 寫法 2:ROW_NUMBER() 視窗函數(SQL 2005+,效能更好)
SELECT 用戶ID, 姓名, 年齡, 日期
FROM (
    SELECT *, ROW_NUMBER() OVER (PARTITION BY 用戶ID, 姓名 ORDER BY 日期 DESC) AS rn
    FROM #t2
) t
WHERE rn = 1;

擴展:分頁查詢同理

同樣的 ROW_NUMBER() 技巧可用於高效分頁:

DECLARE @PageSize INT = 20, @PageNum INT = 2;
SELECT * FROM (
    SELECT *, ROW_NUMBER() OVER (ORDER BY id) AS rn FROM BigTable
) t
WHERE rn BETWEEN (@PageNum-1)*@PageSize + 1 AND @PageNum*@PageSize;

效能對比

  • DISTINCT:全表掃描 + 排序去重,大表較慢
  • NOT EXISTS:相關子查詢,需適當索引支援
  • ROW_NUMBER():單次掃描 + 排序,大表**最優**,並可輕鬆擴展「保留最舊/自定義排序」

**最佳實踐**:SQL Server 2005 以上環境,**優先使用視窗函數**,代碼清晰且效能穩健。

copyright © 萬盛學電腦網 all rights reserved