Hive的join底層mapreduce是如何實(shí)現(xiàn)的

發(fā)布時間：2021-07-26 21:30:55 來源：億速云閱讀：444 作者：chen 欄目：大數(shù)據(jù)

這篇文章主要講解了“Hive的join底層mapreduce是如何實(shí)現(xiàn)的”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Hive的join底層mapreduce是如何實(shí)現(xiàn)的”吧！

Common Join

如果沒開啟hive.auto.convert.join=true或者不符合MapJoin的條件，那么Hive解析器會將Join操作轉(zhuǎn)換成Common Join,在Reduce階段完成join。并且整個過程包含Map、Shuffle、Reduce階段。

Map階段

讀取表的數(shù)據(jù)，Map輸出時候以 Join on 條件中的列為key，如果Join有多個關(guān)聯(lián)鍵，則以這些關(guān)聯(lián)鍵的組合作為key;
Map輸出的 value 為 join 之后需要輸出或者作為條件的列；同時在value中還會包含表的 Tag 信息，用于標(biāo)明此value對應(yīng)的表；按照key進(jìn)行排序

Shuffle階段

根據(jù)key取哈希值,并將key/value按照哈希值分發(fā)到不同的reduce中

Reduce階段

根據(jù)key的值完成join操作，并且通過Tag來識別不同表中的數(shù)據(jù)。在合并過程中，把表編號扔掉

舉例

 drop table if exists wedw_dwd.user_info_df; CREATE TABLE wedw_dwd.user_info_df(  user_id    string  COMMENT '用戶id',  user_name  string  COMMENT '用戶姓名' )row format delimited fields terminated by '\t' STORED AS textfile ;  +----------+------------+--+| user_id  | user_name  |+----------+------------+--+| 1        | 小紅         || 2        | 小明         || 3        | 小花         |+----------+------------+--+

 drop table if exists wedw_dwd.order_info_df; CREATE TABLE wedw_dwd.order_info_df(  user_id      string  COMMENT '用戶id',  course_name  string  COMMENT '課程名稱' )row format delimited fields terminated by '\t' STORED AS textfile ;  +----------+--------------+--+| user_id  | course_name  |+----------+--------------+--+| 1        | spark        || 2        | flink        || 3        | java         |+----------+--------------+--+

select t1.user_id,t1.user_name,t2.course_namefromwedw_dwd.user_info_df t1join wedw_dwd.order_info_df t2on t1.user_id = t2.user_id;+----------+------------+--------------+--+| user_id  | user_name  | course_name  |+----------+------------+--------------+--+| 1        | 小紅         | spark        || 2        | 小明         | flink        || 3        | 小花         | java         |+----------+------------+--------------+--+

圖解：(在合并過程中，把表編號扔掉)

Hive的join底層mapreduce是如何實(shí)現(xiàn)的

感謝各位的閱讀，以上就是“Hive的join底層mapreduce是如何實(shí)現(xiàn)的”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對Hive的join底層mapreduce是如何實(shí)現(xiàn)的這一問題有了更深刻的體會，具體使用情況還需要大家實(shí)踐驗證。這里是億速云，小編將為大家推送更多相關(guān)知識點(diǎn)的文章，歡迎關(guān)注！

向AI問一下細(xì)節(jié)

Hive的join底層mapreduce是如何實(shí)現(xiàn)的

Common Join

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽