hadoop1.1.2集群安裝的示例分析

小編給大家分享一下hadoop1.1.2集群安裝的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

構建hadoop集群

a>vmbox復制  或者vmware克隆  得到新的虛擬機

b>新建一個ip--Connection修改，然后固定一個ip值

c>修改主機名

      1 修改hostname

                   (1)執(zhí)行命令hostname cloud4  修改會話中的hostname

                   (2)驗證:執(zhí)行命令hostname

                   (3)執(zhí)行命令vi  /etc/sysconfig/network 修改文件中的hostname

                   (4)驗證:執(zhí)行命令reboot -h now 重啟機器

      2 設置ip與hostname綁定

                   (1)執(zhí)行命令vi  /etc/hosts

                            在文本最后增加一行192.168.80.101 cloud41

                   (2)驗證:ping cloud4

(3)在window中配置:主機名對應的ip

C:\Windows\System32\drivers\etc\hosts

d> ssh免密碼登陸

新建就要配置

                   //(1)執(zhí)行命令ssh-keygen -t rsa （然后一路Enter）  產生秘鑰位于/root/.ssh/

                   //(2)執(zhí)行命令cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys  產生授權文件

                   //(3)驗證:ssh localhost

如果克隆的直接下一步：

判斷本系統(tǒng)是否密碼配置成功：

ssh cloud4  (ssh 主機名)

（主節(jié)點把密碼傳到從節(jié)點）

ssh-copy-id  -i  cloud41

轉到從節(jié)點

ssh cloud41

（從節(jié)點把密碼傳到主節(jié)點）

ssh-copy-id  -i  cloud4

e>復制主節(jié)點的jdk和hadoop到對方

（-r遞歸）

scp  -r  /usr/local/jdk   cloud41:/usr/local

scp  -r  /usr/local/hadoop   cloud41:/usr/local

scp  /etc/profile   cloud41:/etc

source /etc/profile 配置文件生效

f>修改 hadoop/conf/slaves來添加從節(jié)點

子節(jié)點可以是--------Slaves內容如下：

localhost(可要可不要，判斷要不要主節(jié)點存放數(shù)據(jù)，一般dataNode放在從節(jié)點中)

cloud41,cloud42

g>在主節(jié)點啟動，從節(jié)點不執(zhí)行以下命令

格式化hadoop的namenode

hadoop namenode –format

start-all.sh

h>如果配置成功

主節(jié)點：

[root@cloud41 ~]# jps

4020 NameNode

4353 JobTracker

4466 TaskTracker

4508 Jps

4275 SecondaryNameNode

4154 DataNode

從節(jié)點：

[root@cloud41 ~]# jps

3286 TaskTracker

3352 Jps

3194 DataNode

i>新節(jié)點的加入：

1.   啟動新節(jié)點：（datanode，tasktracker）

hadoop/bin

hadoop-daemon.sh start datanode

hadoop-daemon.sh start tasktracker

2.   在主節(jié)點重新獲取從節(jié)點

hadoop dfsadmin –refreshNodes

3.   主節(jié)點設置負載均衡

hadoop/bin

(可選)在主節(jié)點上執(zhí)行負載均衡命令 start-balance.sh

4.修改副本數(shù)  

hadoop fs -setrep 2   /hello  

5.修改安全模式狀態(tài)   

         hadoop dfsadmin -safemode leave|enter|get   （leave表示關閉安全模式）

以上是“hadoop1.1.2集群安裝的示例分析”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業(yè)資訊頻道！