hadoop2.5.2的安裝過(guò)程

本篇內(nèi)容介紹了“hadoop2.5.2的安裝過(guò)程”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

 安裝之前，想好自己的安裝順序，我的安裝順序

        1 確定安裝集群的數(shù)量和namenode,datanode分配，然后修改對(duì)應(yīng)的osts配置文件

        2 讓集群之間實(shí)現(xiàn)ssh無(wú)密碼登陸（hadoop集群中，namenode節(jié)點(diǎn)需要能夠ssh無(wú)密碼訪問(wèn)datanode節(jié)點(diǎn)）

        3 配置詳細(xì)環(huán)境，主要為jdk包和hadoop包

 本章主要介紹安裝過(guò)程，詳細(xì)的配置文檔請(qǐng)點(diǎn)擊 --》http://my.oschina.net/u/259463/blog/514008

1 修改/etc/hosts 文件
          192.168.1.100 nameNode
          192.168.1.101 dataNode1
          192.168.1.102 dataNode2
 將集群中的機(jī)器添加到hosts中

2 實(shí)現(xiàn)SSH無(wú)密碼驗(yàn)證配置
          注：1 hadoop 集群中，nameNode節(jié)點(diǎn)，需要能夠ssh 無(wú)密碼訪問(wèn)dataNode節(jié)點(diǎn)
                 2 多臺(tái)機(jī)器需要重復(fù)操作 2),3) ,4)過(guò)程
      1）首先 nameNode節(jié)點(diǎn)生成公鑰
              輸入： ssh-keygen -t rsa 
                生成過(guò)程中有三次要求回車(chē)（基本全部回車(chē)不用設(shè)置）
                        1 采用默認(rèn)文件保存鑰匙
                        2 鍵入密碼短語(yǔ)，如果建立至少5個(gè)字符
                        3 重復(fù)密碼短語(yǔ)
      2）將生成的密鑰拷貝到daataNode節(jié)點(diǎn)中（如果是非root用戶，就是/home下該用戶的主目錄）
               輸入： cd /root/.ssh
                          scp ./id_rsa.pub root@192.168.1.101:/root/.ssh/authorized_keys
        中間要求輸入對(duì)應(yīng)機(jī)器的密碼，輸入就行
   3）檢查datanode機(jī)器authorized_keys的權(quán)限，確保為644（-rw-r--r--），如果不是，則修改權(quán)限，命令如下 chmod 644 authorized_keys
4）測(cè)試 ssh 192.168.1.101

 3 安裝Jdk
   1） 這是格式為.bin的jdk
       jdk-6u45-linux-i586.bin復(fù)制到/usr/java文件夾下,在/usr/java文件夾下執(zhí)行./jdk-6u45-linux-i586.bin
   2） 常見(jiàn)安裝包為 jdk-7-linux-i586.tar.gz
        tar zvxf jdk-7-linux-i586.tar.gz /usr/java

  打開(kāi)/etc/profile，在文件最后添加
  export JAVA_HOME=/usr/java/jdk1.7.0_23
  export PATH=$JAVA_HOME/bin:$PATH
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  可以執(zhí)行source profile（在/etc/文件夾下）快速生效
     輸入java -version測(cè)試

 4 安裝hadoop
          hadoop-2.5.2
    同jdk安裝，將下載好的hadoop壓縮包解壓
               例：tar  -zxvf hadoop-2.5.2.tar.gz /home/hadoop
   同樣在環(huán)境變量文件中添加對(duì)應(yīng)的環(huán)境變量
      打開(kāi)/etc/profile，在文件最后添加
  ###set hadoop_env
  export HADOOP_HOME=/home/hadoop/hadoop-2.5.2
  export HADOOP_COMMON_HOME=$HADOOP_HOME
  export HADOOP_HDFS_HOME=$HADOOP_HOME
  export HADOOP_MAPRED_HOME=$HADOOP_HOME
  export HADOOP_YARN_HOME=$HADOOP_HOME
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  export HADOOP_OPTS=\"-Djava.library.path=$HADOOP_HOME/lib\"
 
   執(zhí)行source profile（在/etc/文件夾下）快速生效

 5 配置hadoop需要的配置文件

        詳情請(qǐng)看 http://my.oschina.net/u/259463/blog/514008

 5  用scp 命令將hadoop文件夾拷貝到所有的節(jié)點(diǎn)機(jī)器相同路徑上。

         例子: scp -r hadoop-2.5.2/ root@dataNode01:/home/hadoop 

              -r 為文件夾里面所有文件  root為復(fù)制電腦的用戶名，后面接的為IP請(qǐng)見(jiàn)上面hosts配置文件，后面跟的是復(fù)制到的路徑

 6 要確認(rèn)防火墻的配置，或者直接關(guān)閉

       /etc/init.d/iptables status 本次關(guān)閉為  /etc/init.d/iptables stop 其他請(qǐng)百度

 7 啟動(dòng)測(cè)試

      先格式化 namenode  方法為: ./bin/hadoop namenode -format

      如果格式化因?yàn)槠渌麊?wèn)題報(bào)錯(cuò)，或者不是第一次格式化 請(qǐng)將core-site.xml 配置文件中hadoop.tmp.dir tmp文件夾刪除。

    如果輸出出現(xiàn)（基本倒數(shù)幾行里面） ： /hadoop-2.5.2/hdfs/name has been successfully formatted  說(shuō)明成功，報(bào)錯(cuò)就需要自己百度google查找問(wèn)題

 8 然后將hdfs yarn啟動(dòng)

      sbin/start-dfs.sh
      sbin/start-yarn.sh

 9 啟動(dòng)成功后 可進(jìn)行瀏覽器訪問(wèn)

http://192.168.1.100:50070/

http://192.168.1.100:8088/   都沒(méi)有問(wèn)題就說(shuō)明hadoop和jdk安裝成功。。然后開(kāi)搞吧

“hadoop2.5.2的安裝過(guò)程”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！