MapReduce工作機(jī)制相關(guān)知識(shí)點(diǎn)有哪些

本篇內(nèi)容主要講解“MapReduce工作機(jī)制相關(guān)知識(shí)點(diǎn)有哪些”，感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“MapReduce工作機(jī)制相關(guān)知識(shí)點(diǎn)有哪些”吧!

作業(yè)的提交

可以只用一行代碼來運(yùn)行一個(gè)MapReduce作業(yè)：

    JobClient.runJob(conf)。

作業(yè)的調(diào)度

Hadoop作業(yè)調(diào)度演進(jìn)

1、早期版本的Hadoop使用FIFO調(diào)度算法來運(yùn)行作業(yè)

早期版本的Hadoop使用一種非常簡(jiǎn)單的方法來調(diào)度用戶的作業(yè)：

按照作業(yè)提交的順序，使用FIFO（先進(jìn)先出）調(diào)度算法來運(yùn)行作業(yè)。

2、隨后，通過設(shè)置mapred.job.priority或JobClient的setJobPriority（）方法來設(shè)置優(yōu)先級(jí)

3、Hadoop的調(diào)度器種類

在Hadoop中，MapReduce的調(diào)度器可以選擇。

1）、默認(rèn)的調(diào)度器是原始的基于隊(duì)列的FIFO調(diào)度器。

2）、Fair Scheduler 公平調(diào)度器

3）、Capacity Scheduler

MapReduce的工作機(jī)制相關(guān)知識(shí)點(diǎn)：

1、通過調(diào)用什么代碼運(yùn)行一個(gè)MapReduce作業(yè)？

   JobClient.runJob(conf);

2、hadoop運(yùn)行作業(yè)的整個(gè)過程圖解

3、hadoop運(yùn)行作業(yè)的整個(gè)過程包含幾個(gè)獨(dú)立的實(shí)體？

它包含以下4個(gè)獨(dú)立的實(shí)體：

    1）、客戶端：提交MapReduce作業(yè)。

    2）、jobtracker：協(xié)調(diào)作業(yè)的運(yùn)行。

    jobtracker是一個(gè)Java應(yīng)用程序，它的主類是JobTracker。

    3）、tasktracker：運(yùn)行作業(yè)劃分后的任務(wù)。

    tasktracker是一個(gè)Java應(yīng)用程序，它的主類是TaskTracker。

    4）、分布式文件系統(tǒng)（一般為HDFS）

    用來在其他實(shí)體間共享作業(yè)文件。

到此，相信大家對(duì)“MapReduce工作機(jī)制相關(guān)知識(shí)點(diǎn)有哪些”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！