Hadoop MapReduce有什么作用

這篇文章主要介紹“Hadoop MapReduce有什么作用”，在日常操作中，相信很多人在Hadoop MapReduce有什么作用問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Hadoop MapReduce有什么作用”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

    Hadoop MapReduce是一個軟件框架，基于該框架能夠容易地編寫應用程序，這些應用程序能夠運行在由上千個商用機器組成的大集群上，并以一種可靠的，具有容錯能力的方式并行地處理上TB級別的海量數(shù)據(jù)集。

       1.軟件框架，2.并行處理，3.可靠且容錯，4.大規(guī)模集群，5.海量數(shù)據(jù)集。

        因此，對于MapReduce可以簡單地認為，他是一個軟件框架，海量數(shù)據(jù)是它的“菜”，它在大規(guī)模集群上以一種可靠且容錯的方式并行地“烹飪這道菜”。

    MapReduce能做什么？簡單講可以做大數(shù)據(jù)處理，即如何烹飪這道菜，比如數(shù)據(jù)加工、挖掘和數(shù)據(jù)分析等。

    MapReuce的思想就是“分而治之”。Mapper負責“分”， 即把復雜的任務分解為若干個“簡單的任務”來處理。“簡單的任務”包含三層含義：一是數(shù)據(jù)或計算的規(guī)模相對原任務要大大縮?。欢蔷徒嬎阍瓌t，即任務會分配到存放著所需數(shù)據(jù)的節(jié)點上進行計算；三是這些小任務可以并行計算，彼此間幾乎沒有依賴關系。Reducer負責對map階段的結果進行匯總。至于需要多少個Reducer，用戶可以根據(jù)具體問題，通過在mapred-site.xml配置文件里設置參數(shù)mapred.reduce.tasks的值，缺省值為1。

    MapReduce的思想就是“分而治之”。Mapper負責“分”，即把復雜的任務分解為若干個“簡單的任務”來處理?！昂唵蔚娜蝿铡卑龑雍x：一是數(shù)據(jù)或計算的規(guī)模相對原任務要大大縮小；二是就近計算原則，即任務會分配到存放著所需數(shù)據(jù)的節(jié)點上進行計算；三是這些小任務可以并行計算，彼此間幾乎沒有依賴關系。Reducer負責對map階段的結果進行匯總。至于需要多少個Reducer，用戶可以根據(jù)具體問題，通過在mapred-site.xml配置文件里設置參數(shù)mapred.reduce.tasks的值，缺省值為1。

愛上

    Mapreduce大規(guī)模數(shù)據(jù)集的操作，分發(fā)給一個主節(jié)點管理下的各分節(jié)點共同完成，然后通過整合各分節(jié)點的中間結果，得到最終的結果。簡單地說，MapReduce就是“任務的分解與結果的匯總”。上述處理過程被MapReduce高度的抽象為兩個函數(shù)：map和reduce，map負責把任務分解成多個任務，reduce負責把分解后多任務處理的結果匯總起來。至于在并行編程中的其他種種復雜問題，如分布式存儲，工作調度，負載均衡，容錯處理，網絡通信等，均由MapReduce框架負責處理。

    用MapReduce來處理的數(shù)據(jù)集（或任務）必須具備這樣的特點：

        待處理的數(shù)據(jù)集可以分解成許多小的數(shù)據(jù)集，而且每一個小數(shù)據(jù)集都可以完全并行的進行處理。

        ①  將任務的輸入數(shù)據(jù)分割成固定大小的片段split。

        ②   將每個split進一步分解成一批鍵值對<k1，v1>。

        ③    hadoop為每一個split創(chuàng)建一個Map任務，并將對應的split中的<k1,v1>對作為輸入 。

        ④     得到計算的中間結果<k2,v2>，接著講中間結果按照k2進行排序，并將key值相同的value放在一起形成一個新列表，形成<k2,list(v2)>元組。最后在根據(jù)key值的范圍將這些元組進行分組，對應不同的Reduce任務。

        ⑤    reduce把熊不同mapper接收來的數(shù)據(jù)整合在一起并進行排序，然后用reduce函數(shù)對輸入的元組進行處理，得到鍵值對<k3,v3>.

        ⑥   將最后得到的結果<k3,v3 >對輸出到HDFS上，

更多內容詳解-MapReduce框架：http://www.cnblogs.com/sharpxiajun/p/3151395.html。

到此，關于“Hadoop MapReduce有什么作用”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關知識，請繼續(xù)關注億速云網站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>