MySQL過濾部分字段重復的數據

過濾重復數據最直接的辦法就是使用select distinct可以去掉重復記錄這個是過濾所有的重復內容了，但有時我們需要保留一條信息，下面來看看如何實現吧。

select distinct可以去掉重復記錄。

 

disctinct將重復的記錄忽略，但它忽略的是完全一致的重復記錄，而不是其中某個字段重復的記錄，或者說，distinct查詢一個字段時好使，多個字段就不好使。

所以用聚合函數和group by實現

注意：group by只能跟聚合函數搭配使用

例表

 

ID username password TRDESC ……………………
 1 A abcdef QR
 2 A abcdef W34
 3 A bbbbbb AD
 4 B aaaaaa asdf

 

查詢username和password組合起來的條件不能重復的查詢結果（這個都能重復，不能不說這是個爛攤子）

當username和password重復時，取ID最大的記錄:

 select * from mytable where ID in(select max(ID) from mytable group by username,password)

 

當username和password重復時，取ID最小的記錄：

 select * from mytable where ID in(select min(ID) from mytable a group by username,password)

 

接著看個例子獲取某字段不重復數據，刪除某字段重復數據

 

關於刪除某個字段重復記錄，從網上搜索了一下，有些人寫的方法運行不了，好像是mysql不支持那種語法，不過最後還是找到了另一個人寫的可以執行的方法，相對來說還是比較簡單，效率那只有在大數據量情況下才能證實了。
個人實踐是沒問題的。具體操作示例如下：

表：test
表結構及數據：

 

 

要求：刪除name字段中重復的記錄

刪除語句：

第一種：delete from a using test as a,test as b where a.id>b.id and a.name = b.name;//保留舊記錄

第二種：delete from a using test as a,test as b where a.id<b.id and a.name = b.name;//保留新記錄

 

使用第一種刪除得出的結果：

 

 

結果刪除id=3，name=test的記錄，因為這條記錄和id=1，name=test記錄出現name字段值重復。

直接查詢name字段不重復數據，可以用：

 SELECT * FROM ring_resource AS A WHERE id = (SELECT MAX(id) FROM ring_resource WHERE name = A.name)