溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

shuffle和map shuffle有什么區(qū)別

發(fā)布時(shí)間：2022-01-13 16:00:39 來源：億速云 閱讀：118 作者：小新 欄目：大數(shù)據(jù)

這篇文章將為大家詳細(xì)講解有關(guān)shuffle和map shuffle有什么區(qū)別，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

普通shuffle結(jié)構(gòu)圖：

shuffle和map shuffle有什么區(qū)別

shuffle和map shuffle有什么區(qū)別

  • 不同表由不同的map完成，shuffle把條件相等的key分發(fā)到reduce task上去執(zhí)行

  • join等于是在reduce階段完成

缺點(diǎn)：
成本高且效率慢，所有的數(shù)據(jù)都需要shuffle去完成

map shuffle結(jié)構(gòu)圖：

shuffle和map shuffle有什么區(qū)別

  • mapjoin: join是發(fā)生在map階段，無shuffle

  • mapjoin使用前提：大表 join 小表(小表有大小限制 maximum；hive元數(shù)據(jù)判斷大小表)

  • 本地的map task讀取小表的數(shù)據(jù)生成HashTable File,然后upload到分布式緩存里.

  • 完成本地map task小表后，啟動(dòng)Mapjoin task作業(yè)讀取大表數(shù)據(jù)，每條數(shù)據(jù)和緩存里數(shù)據(jù)進(jìn)行匹配

關(guān)于“shuffle和map shuffle有什么區(qū)別”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手