HDFS之偽分布式集群如何搭建

這篇文章主要介紹HDFS之偽分布式集群如何搭建，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

1.安裝前準(zhǔn)備

1.1查看虛擬機(jī)ip   [root@localhost ~]# ifconfig

        得到hadoop01的ip:192.168.88.155

1.2修改ip映射關(guān)系

        [root@localhost ~]# vi /etc/hosts

        在里面添加如下記錄，保存退出

        192.168.88.155  hadoop01

1.3關(guān)閉防火墻
        查看防護(hù)墻狀態(tài)service iptables status
        關(guān)閉service iptables stop
        查看防火墻開(kāi)機(jī)啟動(dòng)狀態(tài) chkconfig iptables --list
       關(guān)閉開(kāi)機(jī)啟動(dòng) chkconfig iptables off

1.4安裝JDK1.7參看另一篇文章

        查看是否安裝成功[root@localhost ~]# java -version
        java version "1.7.0_79"
        Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
        Java HotSpot(TM) Client VM (build 24.79-b02, mixed mode)

        出現(xiàn)以上信息表示安裝成功

       
2.配置hadoop

2.1下載hadoop包

        [root@localhost ~]# wget http://apache.fayea.com/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

2.2解壓

        [root@localhost ~]#     tar -zxvf hadoop-1.1.2.tar.gz -C /cloud/

2.3配置hadoop偽分布式（要修改4個(gè)文件）

         第一個(gè)：hadoop-env.sh
         [root@localhost cloud]# cd /cloud/hadoop-1.2.1/conf/

        添加下面的字段export JAVA_HOME=/usr/lib/java/java-7-sun

        第二個(gè)：core-site.xml
        vim core-site.xml 
            <configuration>
                    <!-- destine HDFS's namenode address -->
                    <property>
                            <name>fs.default.name</name>
                            <value>hdfs://hadoop01:9000</value>
                    </property>
                    <!-- destine hadoop store directory when run the programe -->
                    <property>
                            <name>hadoop.tmp.dir</name>
                            <value>/cloud/hadoop-1.2.1/tmp</value>
                    </property>
            </configuration>

         第三個(gè)：hdfs-site.xml

         vim hdfs-site.xml
                <configuration>
                        <!-- configurate amout about HDFS fuben-->
                            <property>
                                    <name>dfs.replication</name>
                                   <value>1</value>
                            </property>
                </configuration>

        第四個(gè)：mapred-site.xml

        vim mapred-site.xml
            <configuration>
                    <!-- 指定jobtracker地址 -->
                    <property>
                            <name>mapred.job.tracker</name>
                            <value>hadoop01:9001</value>
                    </property>
            </configuration>

2.4將hadoop添加到環(huán)境變量
        vim /etc/profile
        export JAVA_HOME=/usr/lib/java/java-7-sun
        export HADOOP_HOME=/cloud/hadoop-1.1.2
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
        source /etc/profile

  2.5格式化HDFS

        [root@localhost conf]# cd ../

        [root@localhost hadoop-1.2.1]# cd bin

        [root@localhost bin]# ./hadoop namenode -format

2.6啟動(dòng)hadoop
        [root@localhost bin]# sh start-all.sh

2.7驗(yàn)證集群是否啟動(dòng)成功
2.7.1利用jps

    [root@localhost sbin]# jps
    12152 JobTracker
    13835 Jps
    11952 DataNode
    12298 TaskTracker
    11815 NameNode
    12080 SecondaryNameNode

2.7.2利用netstat

    [root@localhost sbin]# netstat -nltp

jpsActive Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   
tcp        0      0 0.0.0.0:111                 0.0.0.0:*                   LISTEN      3605/portmap        
tcp        0      0 0.0.0.0:851                 0.0.0.0:*                   LISTEN      3637/rpc.statd      
tcp        0      0 127.0.0.1:631               0.0.0.0:*                   LISTEN      3857/cupsd          
tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN      3964/sendmail: acce
tcp        0      0 :::50020                    :::*                        LISTEN      11952/java          
tcp        0      0 :::46087                    :::*                        LISTEN      12080/java          
tcp        0      0 ::ffff:192.168.88.155:9000  :::*                        LISTEN      11815/java          
tcp        0      0 ::ffff:192.168.88.155:9001  :::*                        LISTEN      12152/java          
tcp        0      0 :::50090                    :::*                        LISTEN      12080/java          
tcp        0      0 :::50060                    :::*                        LISTEN      12298/java          
tcp        0      0 :::50030                    :::*                        LISTEN      12152/java          
tcp        0      0 :::42256                    :::*                        LISTEN      12152/java          
tcp        0      0 ::ffff:127.0.0.1:42194      :::*                        LISTEN      12298/java          
tcp        0      0 :::50070                    :::*                        LISTEN      11815/java          
tcp        0      0 :::48758                    :::*                        LISTEN      11815/java          
tcp        0      0 :::22                       :::*                        LISTEN      3848/sshd           
tcp        0      0 :::50010                    :::*                        LISTEN      11952/java          
tcp        0      0 :::50075                    :::*                        LISTEN      11952/java          
tcp        0      0 :::51163                    :::*                        LISTEN      11952/java     
        還可以通過(guò)瀏覽器的方式驗(yàn)證
        http://192.168.1.110:50070 (hdfs管理界面)
        http://192.168.1.110:50030 (mr管理界面)
        
        在這個(gè)文件中添加linux主機(jī)名和IP的映射關(guān)系
        C:\Windows\System32\drivers\etc
        
3.配置ssh免登陸
    生成ssh免登陸密鑰
    ssh-keygen -t rsa
    執(zhí)行完這個(gè)命令后，會(huì)生成兩個(gè)文件id_rsa（私鑰）、id_rsa.pub（公鑰）
    將公鑰拷貝到要免登陸的機(jī)器上
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    4.配置ssh免登陸
    生成ssh免登陸密鑰
    cd ~，進(jìn)入到我的home目錄
    cd .ssh/

    ssh-keygen -t rsa （四個(gè)回車(chē)）
    執(zhí)行完這個(gè)命令后，會(huì)生成兩個(gè)文件id_rsa（私鑰）、id_rsa.pub（公鑰）
    將公鑰拷貝到要免登陸的機(jī)器上
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys（文件）
    或
    ssh-copy-id -i localhost
    

補(bǔ)充

(2)修改sshd_config文件

# vi /etc/ssh/sshd_config    //開(kāi)啟以下內(nèi)容


RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile      .ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
    
service sshd restart
ssh username@serverhost

以上是“HDFS之偽分布式集群如何搭建”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！