hadoop cdh2.6.0-5.7.0偽分布式版本怎么搭建

本篇內(nèi)容主要講解“hadoop cdh2.6.0-5.7.0偽分布式版本怎么搭建”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“hadoop cdh2.6.0-5.7.0偽分布式版本怎么搭建”吧!

1環(huán)境準備    

1 安裝rz sz 方便重自己本地windows上  上傳下載文件

yum install -y lrzsz

2 軟件工具裝備好

   -rw-r--r--. 1 root root 311585484 Feb 20  2018 hadoop-2.6.0-cdh6.7.0.tar.gz

-rw-r--r--. 1 root root 173271626 Feb 23 17:25 jdk-8u45-linux-x64.gz

 3 進行環(huán)境 的安裝

     mkdir -p /usr/local/java

     tar –zxvf  jdk-8u45-linux-x64.gz –C /usr/local/java

     mkdir /opt/local

tar -zxvf hadoop-2.6.0-cdh6.7.0.tar.gz -C  /opt/local

mv hadoop-2.6.0-cdh6.7.0/ hadoop2.6.0

編輯配置，文件把對應(yīng)的路徑配置成功

vi /etc/profile

export HADOOP_HOME=/opt/local/hadoop-2.6.0

export JAVA_HOME=/usr/local/java/jdk1.8.0_65

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH:$HADOOP_HOME/bin

把配置文件生效

source /etc/profile

 java –version 查看 自己版本是否配置成功

配置  地址 把自己的hostname 和 ip地址進行綁定，防火墻

關(guān)閉自己機器的防火墻

chkconfig iptables –list 查看哪些沒關(guān)

chkconfig iptables off 關(guān)閉

修改自己機器的域名

vi /etc/sysconfig/network

HOSTNAME=hadoop001

Reboot 重啟生效

hostsname  查看主機名是否修改成功

vi /etc/hosts

192.168.225.100 hadoop001

Reboot 重新啟動一下機器

2配置hadoop 為分布式

  1 cd /opt/local/hadoop2.6.0/etc/hadoop

   Vi  vi core-site.xml  核心文件  地址

     <configuration>

<property>    

 <name>fs.defaultFS</name>

        <value>hdfs:// hadoop001:9000</value> 

    </property>

     <property>

        <name> hadoop.tmp.dir</name>

        <value>/home/hadoop/app/tmp</value>

</property>

</configuration>

2 創(chuàng)建目錄Mkdir   /home/hadoop/app/tmp

3 vi hdfs-site.xml  

<configuration>

      <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

4  vi hadoop-env.sh 不配置啟動找不到 jdk

export JAVA_HOME=/usr/local/java/jdk1.8.0_45

    5 [root@hadoop001 hadoop]# cp mapred-site.xml.template  mapred-site.xml

[root@hadoop001 hadoop]# vi mapred-site.xml

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

6 vi  vi yarn-site.xml

<configuration>

         <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

         </property>

 </configuration>

7 vi vi slaves  把主機名稱加入表示datanode節(jié)點

配置好了格式化一下

bin/hdfs namenode –format

配置一下 ssh 免密碼登陸

 Cd .ssh

輸入 ssh-keygen 回車4次

-rw-------. 1 root root 1675 Feb 25 05:03 id_rsa

-rw-r--r--. 1 root root  396 Feb 25 05:03 id_rsa.pub

-rw-r--r--. 1 root root  798 Feb 25 05:02 known_hosts

cat id_rsa.pub >> authorized_keys

chmod 600 authorized_keys

         ssh + ip 或者域名 第一次輸入需要密碼 第二次 不需要了

啟動sbin/start-dfs.sh

Jpd  命令  出現(xiàn)

8068 NameNode

8373 SecondaryNameNode

8551 ResourceManager

8649 NodeManager

8206 DataNode

24174 Jps

到此，相信大家對“hadoop cdh2.6.0-5.7.0偽分布式版本怎么搭建”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！