Hadoop中的MapReduce是什么

小編給大家分享一下Hadoop中的MapReduce是什么，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

        在MapReduce中，它也是主從結(jié)構(gòu)，主節(jié)點(diǎn)：JobTracker，從節(jié)點(diǎn)：TaskTracker。主節(jié)點(diǎn)只有一個(gè)從節(jié)點(diǎn)有很多個(gè)，主節(jié)點(diǎn)在主機(jī)上，從節(jié)點(diǎn)分布到其他機(jī)器上。

        JobTracker：

                    作用：

                            1、負(fù)責(zé)接收用戶提交的作業(yè)；

                            2、負(fù)責(zé)把計(jì)算任務(wù)分給TaskTracker執(zhí)行；

                            3、監(jiān)控TaskTracker的執(zhí)行情況；

        TaskTracker：

                    作用：

                            1、執(zhí)行JobTracker分配的計(jì)算任務(wù)；

            JobClient：

                    概念：是用戶作業(yè)與JobTracker交互的主要接口。

                     作用：

                            1、負(fù)責(zé)提交作業(yè)，負(fù)責(zé)啟動(dòng)；

                            2、跟蹤任務(wù)執(zhí)行；

                            3、訪問任務(wù)狀態(tài)和日志等；

Hadoop中基于RPC的通信協(xié)議

                    1、JobSubmissionProtocol：是JobClient與JobTracker通信的接口。

                                執(zhí)行過程：TaskTracker每隔一段時(shí)間向JobTracker發(fā)送hearbeat(心跳機(jī)制)提交當(dāng)前TaskTracker所在機(jī)

                                器的內(nèi)存，CPU，磁盤等狀態(tài)信息，是否可以接收新任務(wù)等信息；JobTracker接收到hearbeat

                                給TaskTracker返回需要所做的job或task操作，是否開啟新的任務(wù)。TaskTracker可以從取

                                得JobTracker取得當(dāng)前文件系統(tǒng)路徑，需要執(zhí)行Job的Jar文件路徑等.

                           2、InterTrackerProtocol：是TaskTracker與JobTracker通信的接口。

                                作用：主要用來提交，執(zhí)行Job和取得當(dāng)前Job狀態(tài)；JobClient可以通過此協(xié)議提交Job(submitJob),

                                          取得當(dāng)前Job的參數(shù)，狀態(tài)，Counter，Task狀態(tài)，文件系統(tǒng)路徑，jar文件路徑，所有Job的狀

                                          態(tài)，還有Job隊(duì)列的信息，此外JobClient還可以提交KillJob和設(shè)定Job優(yōu)先級(jí)等任務(wù)到                                                          JobTracker。

MapReduce中驅(qū)動(dòng)默認(rèn)設(shè)置：

MapReduce中常見的算法

                                1、單詞計(jì)數(shù)

                                2、數(shù)據(jù)去重

                                3、排序

                                4、Top k

                                5、選擇

                                6、投影

                                7、分組

                                8、多表連接

                                9、單表關(guān)聯(lián)

MapReduce原理

MapReduce為什么能實(shí)現(xiàn)失敗檢測(cè)？

                    正是由于采用了無共享框架，所有MapReduce才能夠?qū)崿F(xiàn)失敗檢測(cè)，這也意味著各個(gè)任務(wù)之間彼此獨(dú)立。

MapReduce作業(yè)：

                    MapReduce作業(yè)(Job)是客戶端需要執(zhí)行的一個(gè)工作單元：它包括輸入數(shù)據(jù)，MapReduce程序和配置信息等。

                    注意：在MapReduce中不能處理文件名以_(下劃線)開頭的文件.

以上是“Hadoop中的MapReduce是什么”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！