hive中的mapjoin怎么用

這篇文章主要介紹了hive中的mapjoin怎么用，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

遇到一個(gè)hive的問(wèn)題，如下hive sql：

select f.a,f.b from A t join B f  on ( f.a=t.a and f.ftime=20110802)  

該語(yǔ)句中B表有30億行記錄，A表只有100行記錄，而且B表中數(shù)據(jù)傾斜特別嚴(yán)重，有一個(gè)key上有15億行記錄，在運(yùn)行過(guò)程中特別的慢，而且在reduece的過(guò)程中遇有內(nèi)存不夠而報(bào)錯(cuò)。

為了解決用戶(hù)的這個(gè)問(wèn)題，考慮使用mapjoin,mapjoin的原理：

MapJoin簡(jiǎn)單說(shuō)就是在Map階段將小表讀入內(nèi)存，順序掃描大表完成Join。
上圖是Hive MapJoin的原理圖，出自Facebook工程師Liyin Tang的一篇介紹Join優(yōu)化的slice，從圖中可以看出MapJoin分為兩個(gè)階段：
通過(guò)MapReduce Local Task，將小表讀入內(nèi)存，生成HashTableFiles上傳至Distributed Cache中，這里會(huì)對(duì)HashTableFiles進(jìn)行壓縮。
MapReduce Job在Map階段，每個(gè)Mapper從Distributed Cache讀取HashTableFiles到內(nèi)存中，順序掃描大表，在Map階段直接進(jìn)行Join，將數(shù)據(jù)傳遞給下一個(gè)MapReduce任務(wù)。

MAPJION會(huì)把小表全部讀入內(nèi)存中，在map階段直接拿另外一個(gè)表的數(shù)據(jù)和內(nèi)存中表數(shù)據(jù)做匹配，由于在map是進(jìn)行了join操作，省去了reduce運(yùn)行的效率也會(huì)高很多

這樣就不會(huì)由于數(shù)據(jù)傾斜導(dǎo)致某個(gè)reduce上落數(shù)據(jù)太多而失敗。于是原來(lái)的sql可以通過(guò)使用hint的方式指定join時(shí)使用mapjoin。

select /*+ mapjoin(A)*/ f.a,f.b 
from A t join B f  
on ( f.a=t.a and f.ftime=20110802) 

再運(yùn)行發(fā)現(xiàn)執(zhí)行的效率比以前的寫(xiě)法高了好多。

mapjoin還有一個(gè)很大的好處是能夠進(jìn)行不等連接的join操作，這種操作如果直接使用join的話(huà)語(yǔ)法不支持不等于操作，hive語(yǔ)法解析會(huì)直接拋出錯(cuò)誤。如果把不等于寫(xiě)到where里會(huì)造成笛卡爾積，數(shù)據(jù)異常增大，速度會(huì)很慢。甚至?xí)蝿?wù)無(wú)法跑成功~。

根據(jù)mapjoin的計(jì)算原理，MAPJION會(huì)把小表全部讀入內(nèi)存中，在map階段直接拿另外一個(gè)表的數(shù)據(jù)和內(nèi)存中表數(shù)據(jù)做匹配。這種情況下即使笛卡爾積也不會(huì)對(duì)任務(wù)運(yùn)行速度造成太大的效率影響。

而且hive的where條件本身就是在map階段進(jìn)行的操作，所以在where里寫(xiě)入不等值比對(duì)的話(huà)，也不會(huì)造成額外負(fù)擔(dān)。

如此看來(lái)，使用MAPJOIN開(kāi)發(fā)的程序僅僅使用map一個(gè)過(guò)程就可以完成不等值join操作，效率還會(huì)有很大的提升。

例子：

select /*+ MAPJOIN(a) */ a.start_level, b.* 
from dim_level a join (select * from test) b
 where b.xx>=a.start_level and b.xx<end_level;

簡(jiǎn)單總結(jié)一下，mapjoin的使用場(chǎng)景：

1. 關(guān)聯(lián)操作中有一張表非常小

2.不等值的鏈接操作

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“hive中的mapjoin怎么用”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!