Apache Hadoop 入門教程第四章

運行在單節(jié)點的 YARN

您可以通過設(shè)置幾個參數(shù)，另外運行 ResourceManager 的守護進(jìn)程和 NodeManager 守護進(jìn)程以偽分布式模式在 YARN 上運行 MapReduce job。

以下是運行步驟。

（1）配置

etc/hadoop/mapred-site.xml:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
1
2
3
4
5
6
etc/hadoop/yarn-site.xml:

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
1
2
3
4
5
6
（2）啟動 ResourceManager 守護進(jìn)程和 NodeManager 守護進(jìn)程

$ sbin/start-yarn.sh
1
（3）瀏覽 ResourceManager 的網(wǎng)絡(luò)接口，它們的地址默認(rèn)為：

ResourceManager - http://localhost:8088/
1
（4）運行 MapReduce job

（5）完成全部操作后，停止守護進(jìn)程：

$ sbin/stop-yarn.sh
1

6. 完全分布式模式的操作方法

關(guān)于搭建完全分布式模式的，請參閱下文《Apache Hadoop 集群上的安裝配置》小節(jié)內(nèi)容。

Apache Hadoop 集群上的安裝配置

本節(jié)將描述如何安裝、配置和管理 Hadoop 集群，其規(guī)?？蓮膸讉€節(jié)點的小集群到幾千個節(jié)點的超大集群。

1. 先決條件

確保在你集群中的每個節(jié)點上都安裝了所有必需軟件，安裝 Hadoop 集群通常要將安裝軟件解壓到集群內(nèi)的所有機器上，參考上節(jié)內(nèi)容《Apache Hadoop 單節(jié)點上的安裝配置》。

通常情況下，集群中的一臺機器被指定為 NameNode 和另一臺機器作為 ResourceManager。這些都是 master。其他服務(wù)（例如，Web 應(yīng)用程序代理服務(wù)器和 MapReduce Job History 服務(wù)器）是在專用的硬件還是共享基礎(chǔ)設(shè)施上運行，這取決于負(fù)載。

在群集里剩余的機器充當(dāng) DataNode 和 NodeManager。這些都是 slave。‘’

很多人都知道我有大數(shù)據(jù)培訓(xùn)資料，都天真的以為我有全套的大數(shù)據(jù)開發(fā)、hadoop、spark等視頻學(xué)習(xí)資料。我想說你們是對的，我的確有大數(shù)據(jù)開發(fā)、hadoop、spark的全套視頻資料。
如果你對大數(shù)據(jù)開發(fā)感興趣可以加口群領(lǐng)取免費學(xué)習(xí)資料： 763835121