MapReduce是什么

這篇文章主要介紹“MapReduce是什么”，在日常操作中，相信很多人在MapReduce是什么問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”MapReduce是什么”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

1 map函數(shù)的輸出先由MapReduce框架處理，然后再被發(fā)送到reduce函數(shù)。這一處過程根據(jù)鍵來對(duì)鍵/值對(duì)進(jìn)行排序和分組。

2 整個(gè)數(shù)據(jù)流的例子如圖2-1所示。在圖的底部是Unix的管道，模擬整個(gè)MapReduce的流程。

圖2-2 MapReduce中單一reduce任務(wù)的數(shù)據(jù)流圖

10 reduce任務(wù)的數(shù)目并不是由輸入的大小來決定，而是單獨(dú)具體指定的。 如果有多個(gè)reducer，map任務(wù)會(huì)對(duì)其輸出進(jìn)行分區(qū)，為每個(gè)reduce任務(wù)創(chuàng)建一個(gè)分區(qū)(partition)。每個(gè)分區(qū)包含許多鍵(及其關(guān)聯(lián)的值)，但每個(gè)鍵的記錄都在同一個(gè)分區(qū)中。分區(qū)可以通過用戶定義的partitioner來控制，但通常是用默認(rèn)的分區(qū)工具，它使用的是hash函數(shù)來形成"木桶"鍵/值，這種方法效率很高。 

      一般情況下，多個(gè)reduce任務(wù)的數(shù)據(jù)流如圖2-3所示。此圖清楚地表明了map和reduce任務(wù)之間的數(shù)據(jù)流為什么要稱為"shuffle"(洗牌)，因?yàn)槊總€(gè)reduce任務(wù)的輸入都由許多map任務(wù)來提供。shuffle其實(shí)比此圖所顯示的更復(fù)雜，并且調(diào)整它可能會(huì)對(duì)作業(yè)的執(zhí)行時(shí)間產(chǎn)生很大的影響。

圖 2-3 多個(gè)reduce任務(wù)的MapReduce數(shù)據(jù)流

11 有可能不存在reduce任務(wù)，不需要shuffle的時(shí)候，這樣的情況是可能的，因?yàn)樘幚砜梢圆⑿羞M(jìn)行。在這種情況下，唯一的非本地節(jié)點(diǎn)數(shù)據(jù)傳輸是當(dāng)map任務(wù)寫入到HDFS中(見圖2-4)。

圖 2-4 MapReduce中沒有reduce任務(wù)的數(shù)據(jù)流

12 在集群上MapReduce作業(yè)的數(shù)量被可用帶寬限制，因此要保證map和reduce任務(wù)之間傳輸?shù)拇鷥r(jià)是最小的。Hadoop允許用戶聲明一個(gè)combiner，運(yùn)行在map的輸出上-- 該函數(shù)的輸出作為reduce函數(shù)的輸入。由于combiner是一個(gè)優(yōu)化方法，所以Hadoop不保證對(duì)于某個(gè)map的輸出記錄是否調(diào)用該方法，調(diào)用該方法多少次。換言之，不調(diào)用該方法或者調(diào)用該方法多次，reducer的輸出結(jié)果都一樣。

       combiner的規(guī)則限制著可用的函數(shù)類型。Hadoop權(quán)威指南中舉了一個(gè)求最高氣溫和平均氣溫的例子，很好的說明了這點(diǎn)。求最高氣溫就可以使用，求平均氣溫使用可能出錯(cuò)。因此combiner并不能取代reduce函數(shù)。雖然它可以幫助減少map和reduce之間的數(shù)據(jù)傳輸量，但是是否在MapReduce作業(yè)中使用combiner是需要慎重考慮的。

13 Hadoop提供了一個(gè)API來運(yùn)行MapReduce，并允許你用除java以外的語言來編寫自己的map和reduce函數(shù)。Hadoop流使用Unix標(biāo)準(zhǔn)流作為Hadoop和程序之間的接口，所以可以使用任何語言，只要編寫的MapReduce程序能夠讀取標(biāo)準(zhǔn)輸入，并寫入到標(biāo)準(zhǔn)輸出。 流適用于文字處理，在文本模式下使用時(shí)，它有一個(gè)面向行的數(shù)據(jù)視圖。

到此，關(guān)于“MapReduce是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！