Linux中hadoop2.6如何實現(xiàn)偽分布搭建

這篇文章主要為大家展示了“Linux中hadoop2.6如何實現(xiàn)偽分布搭建”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“Linux中hadoop2.6如何實現(xiàn)偽分布搭建”這篇文章吧。

   一、關閉防火墻
                #查看防火墻狀態(tài)
                service iptables status
                #關閉防火墻
                service iptables stop
                #查看防火墻開機啟動狀態(tài)
                chkconfig iptables --list
                #關閉防火墻開機啟動
                chkconfig iptables off

1、安裝jdk

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2、配置環(huán)境變量自己寫的shell腳本

3、編譯所寫的shell腳本

4、安裝hadoop下載地址

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

5、編寫的hadoop shell腳本

6、出現(xiàn)下面表示hadoop安裝成功

二、修改配置文件（五個）

2.1、
                第一個：hadoop-env.sh
                #在27行修改
                export JAVA_HOME=/usr/java/jdk1.6.0_45
               
                第二個：core-site.xml
                <configuration>
                        <!-- 指定HDFS老大（namenode）的通信地址 -->
                        <property>
                                        <name>fs.defaultFS</name>
                                        <value>hdfs://localhost:9000</value>
                        </property>
                        <!-- 指定hadoop運行時產(chǎn)生文件的存儲路徑 -->
                        <property>
                                        <name>hadoop.tmp.dir</name>
                                        <value>/cloud/hadoop-2.2.0/tmp</value>
                        </property>
                </configuration>
               
                第三個：hdfs-site.xml
                <configuration>
                        <!-- 設置hdfs副本數(shù)量 -->
                        <property>
                                        <name>dfs.replication</name>
                                        <value>1</value>
                        </property>
                </configuration>
               
                第四個：mapred-site.xml.template 需要重命名： mv mapred-site.xml.template mapred-site.xml
                <configuration>
                        <!-- 通知框架MR使用YARN -->
                        <property>
                                        <name>mapreduce.framework.name</name>
                                        <value>yarn</value>
                        </property>
                </configuration>
               
                第五個：yarn-site.xml
                <configuration>
                        <!-- reducer取數(shù)據(jù)的方式是mapreduce_shuffle -->
                        <property>
                                <name>yarn.nodemanager.aux-services</name>
                                <value>mapreduce_shuffle</value>
                        </property>
                </configuration>

2.2、 格式化HDFS（namenode）第一次使用時要格式化

         hadoop namenode -format

2.3 啟動hadoop
                先啟動HDFS
                sbin/start-dfs.sh
               
                再啟動YARN
                sbin/start-yarn.sh

2.4、 驗證是否啟動成功
                使用jps命令驗證
                27408 NameNode
                28218 Jps
                27643 SecondaryNameNode
                28066 NodeManager
                27803 ResourceManager
                27512 DataNode

2.5、

http://192.168.0.101:50070  (HDFS管理界面)

http://192.168.1.101:8088 （MR管理界面）

2.6、 配置ssh免登陸
        生成ssh免登陸密鑰
        cd ~，進入到我的home目錄
        cd .ssh/

        ssh-keygen -t rsa （四個回車）
        執(zhí)行完這個命令后，會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰）
        將公鑰拷貝到要免登陸的機器上
        cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
        或
        ssh-copy-id -i localhost

以上是“Linux中hadoop2.6如何實現(xiàn)偽分布搭建”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業(yè)資訊頻道！