怎么搭建Hadoop環(huán)境

本篇內(nèi)容介紹了“怎么搭建Hadoop環(huán)境”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

背景知識(shí)

Apache Hadoop

Apache Hadoop軟件庫(kù)是一個(gè)框架，該框架允許使用簡(jiǎn)單的編程模型跨計(jì)算機(jī)集群對(duì)大型數(shù)據(jù)集進(jìn)行分布式處理。它旨在從單個(gè)服務(wù)器擴(kuò)展到數(shù)千臺(tái)機(jī)器，每臺(tái)機(jī)器都提供本地計(jì)算和存儲(chǔ)。庫(kù)本身不是設(shè)計(jì)用來(lái)依靠硬件來(lái)提供高可用性，而是旨在檢測(cè)和處理應(yīng)用程序?qū)拥墓收?，因此可以在?jì)算機(jī)集群的頂部提供高可用性的服務(wù)，而每臺(tái)計(jì)算機(jī)都容易出現(xiàn)故障。

步驟一：安裝JDK

1.執(zhí)行以下命令，下載JDK1.8安裝包。

wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

2.執(zhí)行以下命令，解壓下載的JDK1.8安裝包。

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

3.執(zhí)行以下命令，移動(dòng)并重命名JDK包。

mv java-se-8u41-ri/ /usr/java8

4.執(zhí)行以下命令，配置Java環(huán)境變量。

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

5.執(zhí)行以下命令，查看Java是否成功安裝。

java -version

如果返回以下信息，則表示安裝成功。

步驟二：安裝Hadoop

1.執(zhí)行以下命令，下載Hadoop安裝包。

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

2.執(zhí)行以下命令，解壓Hadoop安裝包至/opt/hadoop。

tar -zxvf hadoop-2.9.2.tar.gz -C /opt/
mv /opt/hadoop-2.9.2 /opt/hadoop

3.執(zhí)行以下命令，配置Hadoop環(huán)境變量。

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

4.執(zhí)行以下命令，修改配置文件yarn-env.sh和hadoop-env.sh。

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

5.執(zhí)行以下命令，測(cè)試Hadoop是否安裝成功。

hadoop version

如果返回以下信息，則表示安裝成功。

步驟三：配置Hadoop

1.修改Hadoop配置文件core-site.xml。

• a.執(zhí)行以下命令開(kāi)始進(jìn)入編輯頁(yè)面。

vim /opt/hadoop/etc/hadoop/core-site.xml

• b.輸入i進(jìn)入編輯模式。 c.在節(jié)點(diǎn)內(nèi)插入如下內(nèi)容。

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

• d.按Esc鍵退出編輯模式，輸入:wq保存退出。

2.修改Hadoop配置文件hdfs-site.xml。
a.執(zhí)行以下命令開(kāi)始進(jìn)入編輯頁(yè)面。

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

b.輸入i進(jìn)入編輯模式。
c.在節(jié)點(diǎn)內(nèi)插入如下內(nèi)容。

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

d.按Esc鍵退出編輯模式，輸入:wq保存退出。

步驟四：配置SSH免密登錄

1.執(zhí)行以下命令，創(chuàng)建公鑰和私鑰。

ssh-keygen -t rsa

2.執(zhí)行以下命令，將公鑰添加到authorized_keys文件中。

cd .ssh
cat id_rsa.pub >> authorized_keys

步驟五：?jiǎn)?dòng)Hadoop

1.執(zhí)行以下命令，初始化namenode 。

hadoop namenode -format

2.依次執(zhí)行以下命令，啟動(dòng)Hadoop。

依次執(zhí)行以下命令，啟動(dòng)Hadoop。

start-yarn.sh

3.啟動(dòng)成功后，執(zhí)行以下命令，查看已成功啟動(dòng)的進(jìn)程。

jps

4.打開(kāi)瀏覽器訪問(wèn)http://<ECS公網(wǎng)IP>:8088和http://<ECS公網(wǎng)IP>:50070，顯示如下界面則表示Hadoop偽分布式環(huán)境搭建完成。

“怎么搭建Hadoop環(huán)境”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！