怎樣搭建Hadoop集群

這篇文章主要為大家展示了“怎樣搭建Hadoop集群”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學習一下“怎樣搭建Hadoop集群”這篇文章吧。

Hadoop集群搭建方式：

                1.1    確定部署三個節(jié)點，分別是hadoop0，hadoop1，hadoop2。

                         其中hadoop0是主節(jié)點(NameNode、JobTracker、SecondaryNamenode)，hadoop1、hadoop2是從節(jié)

                         點(DataNode、TaskTracker)。

                1.2    解壓的Linux鏡像文件，配置Linux初始化環(huán)境，參見Hadoop偽分布環(huán)境搭建(26)。

                1.3    在hadoop0上刪除/usr/local/hadoop目錄下的logs和tmp文件夾。

                         在刪除之前先要關(guān)閉hadoop0上的偽分布的hadoop。操作：stop-all.sh

                1.4    設(shè)置各節(jié)點之間的ssh免密碼登錄

                         (1)在hadoop1上，把hadoop1上的公鑰復制給hadoop0，執(zhí)行命令ssh-copy-id -i hadoop0

                         (2)在hadoop2上，把hadoop2上的公鑰復制給hadoop0，執(zhí)行命令ssh-copy-id -i hadoop0

                         (3)把hadoop0上的authorized_keys復制到hadoop1，hadoop2，執(zhí)行命令

                                scp    /root/.ssh/authorized_keys    hadoop1:/root/.ssh

                                scp    /root/.ssh/authorized_keys    hadoop2:/root/.ssh

                1.5    在hadoop0上修改文件/etc/hosts，內(nèi)容修改后如下：

                            192.168.80.100  hadoop0
                            192.168.80.101  hadoop1
                            192.168.80.102  hadoop2

                1.6    復制hadoop0上的/etc/hosts下的配置到其他hadoop1和hadoop2節(jié)點。

                1.7    復制hadoop0上的/usr/local/jdk、/usr/local/hadoop到hadoop1、hadoop2的對于目錄下。

                         scp    -r    /usr/local/jdk        hadoop1:/usr/local

                         scp    -r    /usr/local/jdk        hadoop2:/usr/local

                         scp    -r    /usr/local/hadoop    hadoop1:/usr/local

                         scp    -r    /usr/local/hadoop    hadoop2:/usr/local

                1.8    復制hadoop0上的/etc/profile到hadoop1、hadoop2上。

                         scp    hadoop0:/etc/profile    hadoop1:/etc/profile

                         scp    hadoop0:/etc/profile    hadoop2:/etc/profile

                         并且還要在hadoop1、hadoop2上分別執(zhí)行source    /etc/profile

                1.9    修改集群的配置信息，修改hadoop0節(jié)點的配置信息，其他節(jié)點不必修改

                         (1)NameNode節(jié)點的位置在配置文件$HADOOP_HOME/conf/core-site.xml中fs.default.name定義的。

                         (2)JobTracker節(jié)點的位置在配置文件$HADOOP_HOME/conf/mapred-site.xml中mapred.job.tracker定

                             義的。

                         (3)SecondaryNameNode節(jié)點的位置在配置文件$HADOOP_HOME/conf/masters定義的，內(nèi)容修改為                                 hadoop0。

                         (4)DataNode和TaskTracker節(jié)點的位置在配置文件$HADOOP_HOME/conf/slaves定義的，內(nèi)容修改為

                              hadoop1、hadoop2。

                1.10    在hadoop0上執(zhí)行格式化命令hadoop namenode -format

                1.11    在hadoop0上啟動集群，執(zhí)行命令start-all.sh

                動態(tài)增加新的從節(jié)點的方法：

                2.1    確定hadoop0作為從節(jié)點。

                2.2    修改hadoop0上的slaves文件，增加hadoop0。

                2.3    在hadoop0上啟動DataNode、TaskTracker進程，執(zhí)行命令：

                                    hadoop-daemon.sh     start    datanode

                                    hadoop-daemon.sh     start    tasktracker

                2.4    在hadoop0上刷新集群節(jié)點結(jié)構(gòu)，執(zhí)行命令

                            hadoop    dfsadmin    -refreshNodes

                3.0    修改副本數(shù)

                            hadoop fs -setrep    2     /hello

                4.0    安全模式

                            集群在剛啟動時，會進入安全模式，默認是30秒鐘。

                            在安全模式下，系統(tǒng)對block進行檢查。

                            在安全模式期間，禁止客戶端的create、delete操作。

                            hadoop    dfsadmin    -safeMode    leave | get | enter

以上是“怎樣搭建Hadoop集群”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學習更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！