您好,登錄后才能下訂單哦!
這篇文章給大家分享的是有關(guān)SQL去重方法有哪些的內(nèi)容。小編覺得挺實(shí)用的,因此分享給大家做個(gè)參考,一起跟隨小編過來看看吧。
在使用SQL提數(shù)的時(shí)候,常會(huì)遇到表內(nèi)有重復(fù)值的時(shí)候,比如我們想得到 uv (獨(dú)立訪客),就需要做去重。
在 MySQL 中通常是使用 distinct
或 group by
子句,但在支持窗口函數(shù)的 sql(如Hive
SQL
、Oracle
等等) 中還可以使用 row_number 窗口函數(shù)進(jìn)行去重。
舉個(gè)栗子,現(xiàn)有這樣一張表 task:
備注:
task_id
: 任務(wù)id;
order_id
: 訂單id;
start_time
: 開始時(shí)間
注意:一個(gè)任務(wù)對(duì)應(yīng)多條訂單
我們需要求出任務(wù)的總數(shù)量,因?yàn)?task_id 并非唯一的,所以需要去重:
distinct
-- 列出 task_id 的所有唯一值(去重后的記錄) select distinct task_id from Task; -- 任務(wù)總數(shù) select count(distinct task_id) task_num from Task;
distinct
通常效率較低。它不適合用來展示去重后具體的值,一般與 count
配合用來計(jì)算條數(shù)。distinct
使用中,放在 select
后邊,對(duì)后面所有的字段的值統(tǒng)一進(jìn)行去重。比如distinct
后面有兩個(gè)字段,那么 1,1 和 1,2 這兩條記錄不是重復(fù)值 。
group by
-- 列出 task_id 的所有唯一值(去重后的記錄,null也是值) -- select task_id -- from Task -- group by task_id; -- 任務(wù)總數(shù) select count(task_id) task_num from (select task_id from Task group by task_id) tmp;
row_number
row_number 是窗口函數(shù),語法如下:
row_number() over (partition by <用于分組的字段名> order by <用于組內(nèi)排序的字段名>)
其中partition by
部分可省略。
-- 在支持窗口函數(shù)的 sql 中使用 select count(case when rn=1 then task_id else null end) task_num from (select task_id , row_number() over (partition by task_id order by start_time) rn from Task) tmp;
此外,再借助一個(gè)表 test 來理理 distinct 和 group by 在去重中的使用:
-- 下方的分號(hào);用來分隔行 select distinct user_id from Test; -- 返回 1; 2 select distinct user_id, user_type from Test; -- 返回1, 1; 1, 2; 2, 1 select user_id from Test group by user_id; -- 返回1; 2 select user_id, user_type from Test group by user_id, user_type; -- 返回1, 1; 1, 2; 2, 1 select user_id, user_type from Test group by user_id; -- Hive、Oracle等會(huì)報(bào)錯(cuò),mysql可以這樣寫。 -- 返回1, 1 或 1, 2 ; 2, 1(共兩行)。只會(huì)對(duì)group by后面的字段去重,就是說最后返回的記錄數(shù)等于上一段sql的記錄數(shù),即2條 -- 沒有放在group by 后面但是在select中放了的字段,只會(huì)返回一條記錄(好像通常是第一條,應(yīng)該是沒有規(guī)律的)
感謝各位的閱讀!關(guān)于“SQL去重方法有哪些”這篇文章就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,讓大家可以學(xué)到更多知識(shí),如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到吧!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。