hadoop分布式安裝步驟

這篇文章主要介紹“hadoop分布式安裝步驟”，在日常操作中，相信很多人在hadoop分布式安裝步驟問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對(duì)大家解答”hadoop分布式安裝步驟”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

1、防火墻;

    1) 重啟后生效 
    開啟： chkconfig iptables on 
    關(guān)閉： chkconfig iptables off 

    2) 即時(shí)生效，重啟后失效 
    開啟： service iptables start 
    關(guān)閉： service iptables stop 

    3)查看防火墻狀態(tài)：service iptables status

 2、HDFS 啟動(dòng)

       sbin/hadoop-daemon.sh start/stop namenode

        sbin/hadoop-daemon.sh start/stop secondarynamenode

        sbin/hadoop-daemon.sh start/stop datanode

       需要在sbin目錄下操作

yarn jar /opt/cloud/hadoop-2.6.0-cdh6.4.2/ws/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh6.4.2.jar  wordcount /wordcount  /output

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

       ./yarn-daemon.sh stop nodemanager

       ./yarn-daeon.sh stop resourcemanager

       如何克隆虛擬機(jī)：http://www.centoscn.com/CentOS/2015/0208/4656.html

       CentOS Linux 克隆完后，連接問題   http://my.oschina.net/u/2356966/blog/469248

一定要保證，集群中的所有節(jié)點(diǎn)的配置都是一樣的，

因此，我是在同一個(gè)節(jié)點(diǎn)上配置，然后同步到其他的機(jī)器上。

             臨時(shí)修改用戶名：hostname  新名

             永久性修改：vim /etc/sysconfig/network

ssh這是個(gè)命令，可以放到shell腳本，那么這樣就能夠?qū)崿F(xiàn)自動(dòng)化的連接到其他的機(jī)器，同時(shí)，執(zhí)行相應(yīng)的命令。          

設(shè)置步驟

        生成自己的公私鑰對(duì)：ssh-keygen -t rsa

        將自己的公鑰復(fù)制到對(duì)方的機(jī)器下，并授權(quán);ssh-copy-id root@master

        別忘了給自己也設(shè)置下

        使用ssh直接登錄，不需要添寫密碼

ssh-keygen -t rsa  生成一次

ssh-copy-id root@master   多次授權(quán)給不同的機(jī)器

同步;

scp -r hadoop-2.6.0-cdh6.4.2/  root@slave01:/opt/cloud/

scp -r jdk1.7.0_45/  root@slave01:/opt/cloud/

scp -r /etc/profile root@slave01:/etc/profile

master節(jié)點(diǎn)格式化：hdfs namenode -format

datanode節(jié)點(diǎn)啟動(dòng)，需要?jiǎng)h除dfs中的dn文件

到此，關(guān)于“hadoop分布式安裝步驟”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！