您好,登錄后才能下訂單哦!
這篇文章主要介紹hive中order by,distribute by,sort by,cluster by怎么用,文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!
order by,distribute by,sort by,cluster by 查詢使用說明
// 根據(jù)年份和氣溫對(duì)氣象數(shù)據(jù)進(jìn)行排序,以確保所有具有相同年份的行最終都在一個(gè)reducer分區(qū)中 // 一個(gè)reduce(海量數(shù)據(jù),速度很慢) select year, temperature order by year asc, temperature desc limit 100; // 多個(gè)reduce(海量數(shù)據(jù),速度很快) select year, temperature distribute by year sort by year asc, temperature desc limit 100;
order by (全局排序 )
order by 會(huì)對(duì)輸入做全局排序,因此只有一個(gè)reducer(多個(gè)reducer無法保證全局有序)
只有一個(gè)reducer,會(huì)導(dǎo)致當(dāng)輸入規(guī)模較大時(shí),需要較長的計(jì)算時(shí)間。
在hive.mapred.mode=strict模式下,強(qiáng)制必須添加limit限制,這么做的目的是減少reducer數(shù)據(jù)規(guī)模
例如,當(dāng)限制limit 100時(shí), 如果map的個(gè)數(shù)為50, 則reducer的輸入規(guī)模為100*50
distribute by (類似于分桶)
根據(jù)distribute by指定的字段對(duì)數(shù)據(jù)進(jìn)行劃分到不同的輸出reduce 文件中。
sort by (類似于桶內(nèi)排序)
sort by不是全局排序,其在數(shù)據(jù)進(jìn)入reducer前完成排序。
因此,如果用sort by進(jìn)行排序,并且設(shè)置mapred.reduce.tasks>1, 則sort by只保證每個(gè)reducer的輸出有序,不保證全局有序。
cluster by
cluster by 除了具有 distribute by 的功能外還兼具 sort by 的功能。
但是排序只能是倒序排序,不能指定排序規(guī)則為asc 或者desc。
因此,常常認(rèn)為cluster by = distribute by + sort by
以上是“hive中order by,distribute by,sort by,cluster by怎么用”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。