如何以本地和偽分布式模式安裝Hadoop

這篇文章主要為大家展示了“如何以本地和偽分布式模式安裝Hadoop”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“如何以本地和偽分布式模式安裝Hadoop”這篇文章吧。

一、預(yù)備知識

a) 支持平臺

l GNU/Linux的開發(fā)平臺和生產(chǎn)平臺都支持。

l Windows也支持（不推薦，這篇文章也不講）。

b) 必須的軟件

i. hadoop是java開發(fā)的，所以必須安裝java環(huán)境。

ii. 需要啟動sshd服務(wù)，hadoop要通過ssh管理遠程守護進程。

c) 安裝軟件

如果你的集群沒有安裝上面所說的軟件，你首先需要安裝它們。

i. 安裝java。

ii. 安裝ssh。

二、下載

  下載hadoop2.4版本。

三、準備啟動hadoop

解壓下載的hadoop壓縮包。編輯文件etc/hadoop/hadoop-env.sh。添加或定義下面兩個參數(shù)：

#設(shè)置java安裝目錄
export JAVA_HOME=/usr/java/jdk_***
#設(shè)置你的hadoop安裝目錄
export HADOOP_PREFIX=/usr/local/hadoop

使用下面的命令進行驗證：

bin/hadoop

如果設(shè)置成功會顯示hadoop命令的使用文檔。

現(xiàn)在你能夠使用下面三種方式安裝你的hadoop集群了。

l 本地模式

l 偽分布模式

l 分布模式

四、本地模式

Hadoop默認配置就是本地模式，在一個java進程中允許hadoop。這中模式常用來進行調(diào)試。

用下面的方式進行驗證一下：

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar grep input output 'dfs[a-z.]+'

如果output中有結(jié)果就對了。

cat output/*

五、偽分布模式

Hadoop也可以在一個單節(jié)點上一以偽分布的方式運行。Hadoop的每個守護進程分別以不同的java進程運行。

a) 配置

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

b) Ssh免密碼登錄

l Ssh免密碼登錄

c) 啟動

下面的例子是在本地運行mapreduce程序，如果你想在yarn上運行mapreduce，請看yarn單節(jié)點安裝。

i. 格式化文件系統(tǒng)。

bin/hdfs namenode -format

ii. 啟動namenode守護進程和datanode守護進程：

sbin/start-dfs.sh

Hadoop守護進程日志輸出目錄通過$HADOOP_LOG_DIR指定（默認為$HADOOP_HOME/logs）

iii. 通過瀏覽器瀏覽namenode：

http://localhost:50070/

iv. 在hdfs上創(chuàng)建文件夾,用來執(zhí)行mapreduce程序。

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/<username>

v. 復(fù)制文件到hdfs上：

bin/hdfs dfs -put etc/hadoop input

vi. 運行示例程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar grep input output 'dfs[a-z.]+'

vii. 檢查輸出文件

bin/hdfs dfs -cat output/*

viii. 關(guān)閉hdfs守護進程。

sbin/stop-dfs.sh

六、Yarn單點安裝

通過設(shè)置一些參數(shù)，并運行ResourceManagers守護進程和NodeManager守護進程。我們也可以在yarn上以偽分布模式運行mapreducer任務(wù)。

a) 配置

etc/hadoop/mapred-side.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

     etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

b) 啟動ResourceManager守護進程和NodeManager 守護進程。

sbin/start-yarn.sh

c) 通過瀏覽器查看ResourceManager：

http://localhost:8088/

d) 運行mapreduce任務(wù)。

e) 運行完任務(wù)的時候，關(guān)閉守護進程

sbin/stop-yarn.sh

以上是“如何以本地和偽分布式模式安裝Hadoop”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！