mapreduce計(jì)算模型和執(zhí)行原理是什么

mapreduce計(jì)算模型和執(zhí)行原理是什么，針對這個(gè)問題，這篇文章詳細(xì)介紹了相對應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡單易行的方法。

mapreduce計(jì)算模型和執(zhí)行原理
MapReduce是一種分布式計(jì)算模型、MR由兩個(gè)階段組成：Map和Reduce，一說到分階段就有先有后，先執(zhí)行map 在執(zhí)行reduce。，map就是我們整個(gè)計(jì)算階段的起始，reduce呢就是我們整個(gè)計(jì)算階段的結(jié)束。從這個(gè)角度講我們map的輸入就是整個(gè)系統(tǒng)的輸入，reduce的輸出就是整個(gè)系統(tǒng)的輸出 ，map的輸出也就是reduce的輸入  這個(gè)呢，就他的一前一后的順序
 2.這兩個(gè)函數(shù)的形參是key、value對，表示函數(shù)的輸入信息。 在我們map中有個(gè)map.entry它就是獲取鍵值對的
一、mapreduce的計(jì)算模型

mapreduce的計(jì)算模型，在這個(gè)計(jì)算模型中，客戶端也就是我們寫的代碼會提交給jobtracker,為什么提交給它呢，因?yàn)閖obtracker接受用戶提交的計(jì)算任務(wù)，然后呢把計(jì)算任務(wù)分配給taskTracker來執(zhí)行，在taskTracker中它有的是走map任務(wù)有的是走reduce任務(wù)，在這個(gè)圖中，這邊是跑map，這邊是跑reduce，map呢接受的是輸入數(shù)據(jù)，map處理之后呢有輸出，輸出呢作為reduce的輸入，reduce處理完了作為輸出，整個(gè)計(jì)算模型中我們的輸入就是map的輸入我們的輸出就是reduce的輸出
 注意：在這里呢，mapper有兩個(gè)（也可以有多個(gè)）有一個(gè)reduce 在這呢map的數(shù)量 表示map任務(wù)的數(shù)量，這里的map 任務(wù)和reduce任務(wù)都是獨(dú)立的java進(jìn)程

那map的數(shù)量和reduce的數(shù)量有什么關(guān)系呢看Mapreduce原理圖
-------->看下圖

那map的數(shù)量和reduce的數(shù)量有什么關(guān)系呢看Mapreduce原理圖
 從這個(gè)圖，我們可以看出左下角的是輸入文件，他的數(shù)據(jù)會送給map任務(wù)去執(zhí)行，在這里一共有五個(gè)map任務(wù)，這五個(gè)map任務(wù)拿的是不同的輸入數(shù)據(jù)，那么這個(gè)數(shù)據(jù)啊，他就會送到reduce這邊，reduce的數(shù)量是3個(gè)，reduce處理完了，會送到我們的磁盤中。
 需要注意的是，map任務(wù)這5個(gè)是怎么對應(yīng)到reduce的這3個(gè)呢，我們看一下，map的輸出，出現(xiàn)了3個(gè)分支這3個(gè)虛線，這3個(gè)分支送到了不同的shuffle中，那么這5個(gè)map任務(wù)都有3個(gè)不同的分支都分散到不通的shuffle中，也就是說，一個(gè)shuffle 會接受5個(gè)map的輸出，這個(gè)shuffle又把結(jié)果送到reduce任務(wù)中，換句話說，一個(gè)reduce接受的時(shí)候5個(gè)map的輸出。那我們來琢磨這事map輸出的分支數(shù)量與reduce任務(wù)的數(shù)量是相同的

關(guān)于mapreduce計(jì)算模型和執(zhí)行原理是什么問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識。