一次SQL怎么查重及去重

這篇文章主要為大家展示了“一次SQL怎么查重及去重”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“一次SQL怎么查重及去重”這篇文章吧。

前言

在使用SQL提數(shù)的時(shí)候，常會(huì)遇到表內(nèi)有重復(fù)值的時(shí)候，就需要做去重，本文歸類了常用方法。

?? 1.distinct

題目：現(xiàn)在運(yùn)營(yíng)需要查看用戶來自于哪些學(xué)校，請(qǐng)從用戶信息表中取出學(xué)校的去重?cái)?shù)據(jù)

示例:user_profile

mysql>SELECT DISTINCT university FROM user_profile;
????????根據(jù)示例，查詢返回以下結(jié)果

????????小貼士：

SQL中關(guān)鍵詞distinct去重：
英語中distinct 代表獨(dú)一無二的意思，
他在SQL表示去重的意思：比如本題中university這一列出現(xiàn)了兩次北京大學(xué)，
使用distinct進(jìn)行去重查詢后，則北京大學(xué)只出現(xiàn)一次。
distinct 通常效率較低
distinct 使用中，放在 select 后邊，對(duì)后面所有的字段的值統(tǒng)一進(jìn)行去重

???????? 拓展：

題目：現(xiàn)在運(yùn)營(yíng)需要查看用戶的總數(shù)
select count(distinct university) from user_profile;

?? 2.group by

???????? 舉個(gè)栗子，現(xiàn)有這樣一張表 task

備注：
task_id: 任務(wù)id;
order_id: 訂單id;
start_time: 開始時(shí)間
注意：一個(gè)任務(wù)對(duì)應(yīng)多條訂單

題目：列出任務(wù)總數(shù)

????????????????根據(jù)示例，查詢方法如下：

第1步：列出 task_id 的所有唯一值（去重后的記錄,null也是值）

select task_id
from Task
group by task_id;

第二步： 任務(wù)總數(shù)

select count(task_id) task_num
from (select task_id
from Task
group by task_id) tmp;

?? 3.row_number 窗口函數(shù)

???????? 舉個(gè)栗子，現(xiàn)有這樣一張表 task

備注：
task_id: 任務(wù)id;
order_id: 訂單id;
start_time: 開始時(shí)間
注意：一個(gè)任務(wù)對(duì)應(yīng)多條訂單

題目：查詢整個(gè)表重復(fù)的數(shù)據(jù)

????????根據(jù)示例，查詢方法如下：

– 在支持窗口函數(shù)的 sql 中使用

select count(case when rn=1 then task_id else null end) task_num
from (select task_id
, row_number() over (partition by task_id order by start_time) rn
from Task) tmp;

????????小貼士：

MySQL8.0 中可以利用 ROW_NUMBER()，DENSE_RANK()，RANK() 三個(gè)窗口函數(shù)來實(shí)現(xiàn)排序

需要注意的一點(diǎn)是 as 后的別名，千萬不要與前面的函數(shù)名重名，否則會(huì)報(bào)錯(cuò)

下面給出這三種函數(shù)實(shí)現(xiàn)排名的案例：

–三條語句對(duì)于上面三種排名

select xuehao,score, ROW_NUMBER() OVER(order by score desc) as row_r from scores_tb;
select xuehao,score, DENSE_RANK() OVER(order by score desc) as dense_r from scores_tb;
select xuehao,score, RANK() over(order by score desc) as r from scores_tb;

– 一條語句也可以查詢出不同排名

SELECT xuehao,score,
ROW_NUMBER() OVER w AS ‘row_r',
DENSE_RANK() OVER w AS ‘dense_r',
RANK() OVER w AS ‘r'
FROM scores_tb
WINDOW w AS (ORDER BY score desc);

?? 4.刪除重復(fù)數(shù)據(jù)

創(chuàng)建測(cè)試數(shù)據(jù)

我們創(chuàng)建一個(gè)人員信息表并在里面插入一些重復(fù)的數(shù)據(jù)

CREATE TABLE Person(
id int auto_increment primary key comment ‘主鍵',
Name VARCHAR(20) NULL,
Age INT NULL,
Address VARCHAR(20) NULL,
Sex CHAR(2) NULL
);

INSERT INTO Person(ID,Name,Age,Address,Sex)
VALUES
( 1, ‘張三', 18, ‘北京路18號(hào)', ‘男' ),
( 2, ‘李四', 19, ‘北京路29號(hào)', ‘男' ),
( 3, ‘王五', 19, ‘南京路11號(hào)', ‘女' ),
( 4, ‘張三', 18, ‘北京路18號(hào)', ‘男' ),
( 5, ‘李四', 19, ‘北京路29號(hào)', ‘男' ),
( 6, ‘張三', 18, ‘北京路18號(hào)', ‘男' ),
( 7, ‘王五', 19, ‘南京路11號(hào)', ‘女' ),
( 8, ‘馬六', 18, ‘南京路19號(hào)', ‘女' );

題目：數(shù)據(jù)庫中存在重復(fù)記錄，刪除保留其中一條

我們發(fā)現(xiàn)除了自增長(zhǎng)ID不同以為，有幾條其他字段都重復(fù)的數(shù)據(jù)出現(xiàn)

???? 第一步：找出重復(fù)的數(shù)據(jù)

mysql>SELECT MAX(ID) ID,
Name,Age,Address,Sex
FROM Person
GROUP BY Name,Age,Address,Sex
HAVING COUNT(1)>1

????????小貼士：

HAVING將分組后統(tǒng)計(jì)出來的數(shù)量大于1的數(shù)據(jù)行，就是我們要找的重復(fù)數(shù)據(jù)

上面用Max函數(shù)或者M(jìn)in函數(shù)均可，只是為了保證取出來的數(shù)據(jù)的唯一性。

???? 第二步：刪除重復(fù)的數(shù)據(jù)

其實(shí)我們數(shù)據(jù)庫中最后要保留的結(jié)果就是第二步中查詢出來的數(shù)據(jù)，

我們把其他的數(shù)據(jù)刪除即可。

怎么刪除呢？我們使用ID來排除。

DELETE FROM Person
WHERE EXISTS
(
SELECT * FROM (
SELECT
MAX(ID) ID,
Name,Age,Address,Sex
FROM Person
GROUP BY Name,Age,Address,Sex
HAVING COUNT(1)>1) T
WHERE Person.Name=T.Name
AND Person.Age=T.Age
AND Person.Address=T.Address
AND Person.Sex=T.Sex
AND Person.ID<T.ID
)

執(zhí)行完后重新查詢Person表結(jié)果如下

馬六因?yàn)橹挥幸粭l記錄，所以沒有參與去重，直接顯示。

以上是“一次SQL怎么查重及去重”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！