centos下安裝分布式Hadoop 3.1.1

一）安裝環(huán)境

centos 7

JDK 1.8.0_181

VMware 12 pro

hadoop 3.1.1

二）安裝環(huán)境準備

1. 分布式系統(tǒng)準備

   下面示例中，我安裝了3個獨立的虛擬機系統(tǒng)，其中HW-Machine作為master，另外2臺分別為slaves：

   
   

2. Java環(huán)境配置        //3臺虛擬機均需配置

   JDK安裝包的獲取以及Java環(huán)境的配置，請參考另一篇博文《Centos下Java環(huán)境安裝配置》。  

3. 靜態(tài)IP設置        //3臺虛擬機均需設置，并修改/etc/hosts文件及/etc/hostname文件

   由于分布式系統(tǒng)配置時，會寫入系統(tǒng)主機名或者主機IP，因此我們需要對Hadoop環(huán)境所用的系統(tǒng)主機設置靜態(tài)IP，具體設置方法，請參考另一篇博《VMware中Centos系統(tǒng)設置靜態(tài)IP》。

   我這里的設置情況如下：

   
   

4. SSH免密碼登錄配置            //3臺虛擬機均需配置

   Hadoop的master與slave之間的數(shù)據(jù)傳輸會使用SSH，因此我們還需要對Hadoop環(huán)境所用的系統(tǒng)主機設置SSH免密碼登錄，具體設置方法，請參考另一篇博文《Centos設置SSH免密碼遠程登錄》。

   
   

三）Hadoop安裝配置

注：

a. hadoop要求，所有用到的主機系統(tǒng)需要建立相同的用戶，在本例中我直接使用root賬號，因此所有操作均是以root賬號；

b. 對應下面配置文件修改，未特別說明，只需修改master上面的文件。

1. Hadoop下載

   直接去apache官網(wǎng)下載http://mirrors.hust.edu.cn/apache/  ，如本次實驗中下載的是： hadoop-3.1.1.tar.gz

2. 直接解壓下載軟件包： tar -zxvf hadoop-3.1.1.tar.gz -C  DestinationFolder，比如我解壓到了/usr/local/目錄下面（這里的3臺系統(tǒng)均需下載并解壓）

   

3. 配置文件修改

   3.1 修改core-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，3個系統(tǒng)都必須修改該文件

   

   3.2 修改hadoop-env.sh文件，文件位置/xxx/etc/hadoop/目錄下，3個系統(tǒng)都必須修改該文件

   

   或者如下修改（注意JAVA_HOME與HADOOP_HOME根據(jù)你自己環(huán)境配置設定），多添加紅框內(nèi)的內(nèi)容，這樣設置后可以省略后面的3.7，3.8，3.9三個步驟：

   
   

   3.3 修改hdfs-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節(jié)點

   

   或者，按如下設置（注意根據(jù)master實際配置，修改name、data目錄路徑及namenode的地址）：

   
   

   
   

   3.4 修改mapred-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節(jié)點

   

   注意：該文件可以只用設置此一個屬性，其他會默認初始化。

   3.5 修改workers文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節(jié)點

   

   注意：這里可以只設置slave1和slave2，這樣master系統(tǒng)就不會作為DataNode節(jié)點。

   3.6 修改yarn-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節(jié)點

   

   注意：這里也可以只用設置yarn.resourcemanager.hostname和yarn.nodemanager.aux-services屬性。

   3.7 修改start-dfs.sh及stop-dfs.sh文件，文件位置/xxx/sbin/目錄下，在這兩個文件頭部加入如下變量：

   HDFS_DATANODE_USER=root

      HADOOP_SECURE_DN_USER=hdfs

      HDFS_NAMENODE_USER=root

      HDFS_SECONDARYNAMENODE_USER=root

     3.8 修改start-yarn.sh和stop-yarn.sh文件，文件位置/xxx/sbin/目錄下，在這兩個文件頭部加入如下變量：

     YARN_RESOURCEMANAGER_USER=root

     HADOOP_SECURE_DN_USER=yarn

     YARN_NODEMANAGER_USER=root

     3.9 修改start-all.sh和stop-all.sh文件，文件位置/xxx/sbin/目錄下，在這兩個文件頭部加入如下變量：

     TANODE_USER=root

     HDFS_DATANODE_SECURE_USER=hdfs

     HDFS_NAMENODE_USER=root

     HDFS_SECONDARYNAMENODE_USER=root

     YARN_RESOURCEMANAGER_USER=root

     HADOOP_SECURE_DN_USER=yarn

     YARN_NODEMANAGER_USER=root

  4. 初始化Hadoop系統(tǒng)，切換至/xxx/bin目錄下

     運行命令：./hdfs namenode  -format

     不報錯返回 “Exiting with status 0” 為成功，“Exiting with status 1”為失敗

  5. 啟動Hadoop并驗證，切換至/xxx/sbin目錄下

     運行命令啟動： ./start-all.sh

     運行命令驗證： jps， 如果看到以下服務則表示已經(jīng)成功啟動服務：

     或者也可打開瀏覽器，輸入http://master:50070驗證，可看到如下網(wǎng)頁：

     至此，Hadoop安裝驗證完畢！

注意：

安裝配置Hadoop3.1.1還可以結合參考：https://blog.csdn.net/qq_41684957/article/details/81946128