hadoop偽分布式的安裝方法

這篇文章主要介紹“hadoop偽分布式的安裝方法”，在日常操作中，相信很多人在hadoop偽分布式的安裝方法問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”hadoop偽分布式的安裝方法”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

    hadoop偽分布式一般用于學(xué)習(xí)和測試.生產(chǎn)環(huán)境一般不使用.

    (如有錯誤,歡迎批評指正)

    1.安裝環(huán)境

        在windows系統(tǒng)上安裝linux系統(tǒng),以CenOS為例.hadoop版本是hadoop1.1.2

    2.配置linux虛擬機

        2.1確保window的上的網(wǎng)卡WMnet1和Linux虛擬機的網(wǎng)卡在同一網(wǎng)段(ping一下試試,確?？梢詐ing通即可)

        2.2修改主機名

            最好修改一下(統(tǒng)一管理,方便好記).指令:vim /etc/sysconfig/network

        2.3修改ip

            對linux指令不熟悉的同學(xué)最好使用圖形化界面來改(建議)

            指令:vim /etc/sysconfig/network-scripts/ifcfg-eth0(每個人機器

                不同,虛擬機上的網(wǎng)卡有可能不一樣,改成自己機器上網(wǎng)卡)

            修改ipaddress,netmask,gateway.

        2.4修改主機名與ip的映射關(guān)系

            指令:vim /etc/hosts

        2.5關(guān)閉防火墻(關(guān)閉開機啟動)

            指令:chkconfig iptables off

        2.6重啟linux

            指令:reboot

    3.安裝jdk

        3.1上傳jdk

        3.2添加執(zhí)行權(quán)限

            指令:chmod u+x jdk(自己上傳的jdk)

        3.3解壓

            解壓到指定目錄(請所有的文件統(tǒng)一管理)

            指令:tar -zxvf jdk(自己上傳的jdk) -C 指定目錄

        3.4添加環(huán)境變量

            指令:vim /etc/profile

        3.5刷新(使配置的環(huán)境變量生效)

            指令:source /etc/profile

    4.安裝hadoop偽分布式

        4.1上傳hadoop

        4.2確保有執(zhí)行權(quán)限,并解壓(再次強調(diào),文件最好統(tǒng)一管理)

            指令:tar -zxvf hadoop(上傳的hadoop版本) -C 指定目錄

        4.3配置hadoop(修改4個配置文件),進入到hadoop-1.1.2/conf目錄下

            如果對指令不熟悉(請使用工具修改,例如:Notepad++等)

            4.31hadoop-env.sh

                在第九行,去掉注釋,配置JAVA_HOME

            4.32core-site.xml

                <configuration>

                    <!-- 指定HDFS的namenode的地址 -->

                    <property>

                        <name>fs.default.name</name>

                        <value>hdfs://配置的主機名:9000</value>

                    </property>

                    <!-- 指定hadoop運行時產(chǎn)生的文件的目錄 -->

                    <property>

                        <name>hadoop.tmp.dir</name>

                        <value>/../hadoop-1.1.2/tmp</value>

                    </property>

                </configuration>

            4.33hdfs-site.xml

                <!-- 設(shè)置hdfs副本的數(shù)量 -->

                <configuration>

                    <property>

                        <name>dfs.replication</name>

                        <value>1</value>

                        <!--分布式默認(rèn)是3,但是我們是為了測試學(xué)習(xí),1就夠了-->

                    </property>

                </configuration>

            4.34mapred-site.xml

                <!-- 指定mapreduce的jobtracker的地址 -->

                <configuration>

                    <property>

                        <name>mapred.job.tracker</name>

                        <value>配置的主機名:9001</value>

                    </property>

                </configuration>

            4.4添加hadoop環(huán)境變量

                指令:vim /etc/profile

            4.5格式化hadoop的hdfs

                指令:hadoop namenode -format

            4.6啟動hadoop

                指令:start-all.sh

            4.7驗證hadoop是否啟動成功

                指令:jps

                成功了會出現(xiàn)下面五個

                    NameNode

                    SecondaryNameNode

                    DataNode

                    JobTracker

                    TaskTracker

                還可以通過瀏覽器驗證

                    http://linux的ip:50070(hdfs管理界面)

                    http://linux的ip:50030(mapreduce管理界面)

                    但是必須先在windows系統(tǒng)下  

              C:\Windows\System32\drivers\etc 添加linux主機名和ip的映射關(guān)系

            5.配置ssh免登陸

                ssh是secure shell

                生成ssh密鑰指令:ssh-keygen -t rsa連續(xù)按回車(4次)即可

                在/root下有隱藏文件.ssh, 進入到/root/.ssh/下,多了2個

                文件(id_rsa  id_rsa.pub)私鑰和公鑰,執(zhí)行以下指令即可:

                cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    hello hadoop,大功告成.可以開發(fā)了!

到此，關(guān)于“hadoop偽分布式的安裝方法”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>