CentOS7下怎么部署Hadoop2.X

本篇內(nèi)容主要講解“CentOS7下怎么部署Hadoop2.X”，感興趣的朋友不妨來看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“CentOS7下怎么部署Hadoop2.X”吧!

一、部署JAVA--(使用root用戶)
  1、上傳Oracle公司的Java組件--jdk1.8.0_151
    A）、cd /uar/java
    B）、執(zhí)行rz -be->選擇本地JDK組件->添加文件->確定上傳
  2、解決安裝包-->tar -zxvf jdk-8u151-linux-x64.tar.gz
  3、給解壓文件夾賦權(quán)：chmod 775 jdk1.8.0_151
  4、設(shè)置環(huán)境變量：
         vi /etc/profile
            export JAVA_HOME=/usr/java/jdk1.8.0_151
            export PATH=$JAVA_HOME/bin:$PATH
  5、生效環(huán)境變量：source /etc/profile
  6、驗(yàn)證命令：java -version和which java

二、部署ssh服務(wù)是否運(yùn)行(使用root用戶)
  service sshd status
  提示：openssh-daemon (pid  5124) is running...
  注：如未安裝使用yum install -y ssh

三、修改hosts文件(使用root用戶)
  vi /etc/hosts
    192.168.40.130  hadoop001
  cat /etc/hosts

四、配置ssh對(duì)等性(使用hadoop用戶)
  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  chmod 0600 ~/.ssh/authorized_keys

  測(cè)試：ssh hadoop1 date(第一次需要輸入yes，之后需要輸入即可顯示遠(yuǎn)程時(shí)間)

五、部署Hadoop--偽分布模式
  1、使用root用戶在/opt中創(chuàng)建software、sourcecode目錄，并賦權(quán)權(quán)限
     cd /opt
     mkdir software sourcecode
     chown hadoop:hadoop software sourcecode
  2、上傳hadoop-2.8.1.tar.gz(使用hadoop用戶)
    A）、cd /opt/software
    B）、執(zhí)行rz -be->選擇本地hadoop-2.8.1.tar.gz文件->添加文件->確定上傳
  3、解決安裝包-->tar -zxvf hadoop-2.8.1.tar.gz(使用hadoop用戶)
  4、配置環(huán)境變更(使用hadoop用戶)
     vi ~/.bash_profile
       export HADOOP_HOME=/opt/software/hadoop-2.8.1
       export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
     環(huán)境變量生效：source ~/.bash_profile
     驗(yàn)證環(huán)境變更：echo $HADDOP_HOME，輸出為：/opt/software/hadoop-2.8.1則為正常
                   which hadoop，輸出為：/opt/software/hadoop-2.8.1/bin/hadoop則為正常
  5、配置hadoop偽分布模式參數(shù)：
     A)、進(jìn)入hadoop安裝目錄：cd $HADOOP_HOME/etc/hadoop
     B)、修改hadoop-env.sh文件，并文件中export JAVA_HOME=${JAVA_HOME}修改為：export JAVA_HOME=/usr/java/jdk1.8.0_151
         vi hadoop-env.sh
           export JAVA_HOME=${JAVA_HOME}  --->  export JAVA_HOME=/usr/java/jdk1.8.0_151
         退出保存(:wq)
     C)、修改core-site.xml文件，在與中新增如下內(nèi)容：
         vi core-site.xml
             
               fs.defaultFS
               hdfs://192.168.40.130:9000
             

             
               hadoop.tmp.dir
               /opt/software/hadoop-2.8.1/tmp
             
         退出保存(:wq)
     D)、修改hdfs-site.xml文件，在與中新增如下內(nèi)容：
         vi hdfs-site.xml
             
               dfs.replication
               1
             

           
             dfs.namenode.secondary.http-address
             192.168.40.130:50090
           

         
            dfs.namenode.secondary.https-address
            192.168.40.130:50091
         
         退出保存(:wq)
     E)、修改slaves文件，將localhost修改為192.168.40.130：
         vi slaves
            192.168.40.130
         退出保存(:wq)
     F)、修改yarn-site.xml文件，在與中新增如下內(nèi)容：
         vi yarn-site.xml
          
            yarn.nodemanager.aux-services
            mapreduce_shuffle
         
         退出保存(:wq)
     G)、修改mapred-site.xml文件，在與中新增如下內(nèi)容：
        cp mapred-site.xml.template mapred-site.xml
         vi mapred-site.xml
           
              mapreduce.framework.name
              yarn
           
         退出保存(:wq)
  6、在hadoop文件夾中創(chuàng)建tmp目錄
     cd /opt/software/hadoop-2.8.1
     mkdir tmp

  7、格式化HDFS：hdfs namenode -format
     提示：
17/12/15 09:56:24 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1926188112-192.168.40.130-1513302984957
17/12/15 09:56:25 INFO common.Storage: Storage directory /opt/software/hadoop-2.8.1/tmp/dfs/name has been successfully formatted.
17/12/15 09:56:25 INFO namenode.FSImageFormatProtobuf: Saving image file /opt/software/hadoop-2.8.1/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
17/12/15 09:56:25 INFO namenode.FSImageFormatProtobuf: Image file /opt/software/hadoop-2.8.1/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 323 bytes saved in 0 seconds.
17/12/15 09:56:25 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
17/12/15 09:56:25 INFO util.ExitUtil: Exiting with status 0
17/12/15 09:56:25 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at spark220/192.168.40.130
************************************************************/
   8、啟動(dòng)HDFS服務(wù)：start-dfs.sh
   
   9、啟動(dòng)Yarn服務(wù)：start-yarn.sh

       注：如需同時(shí)啟動(dòng)，則執(zhí)行strat-all.sh

    10、驗(yàn)證：
      A)、輸入：jps，返回如下信息：
         3536 NodeManager
         3234 SecondaryNameNode
        3046 DataNode
        2938 NameNode
        3422 ResourceManager

  B)、上傳文件測(cè)試：
      hdfs dfs -mkdir /input            ==>創(chuàng)建目錄input
      hdfs dfs -ls /input               ==>查看目錄
      hdfs dfs -put slaves /input       ==>上傳文件到input目錄
      hdfs dfs -ls /input               ==>查看目錄(-rw-r--r--   1 hadoop supergroup         15 2017-12-15 10:07 /input/slaves)


注：
   停止HDFS、YARN命令：
   sbin/stop-yarn.sh
   sbin/stop-hdfs.sh
   或者：sbin/stop-all.sh
---------------------完---------------------------

到此，相信大家對(duì)“CentOS7下怎么部署Hadoop2.X”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！