VMware虛擬機(jī)怎么搭建Hadoop2.7.1分布式集群

本篇內(nèi)容介紹了“VMware虛擬機(jī)怎么搭建Hadoop2.7.1分布式集群”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

【架構(gòu)介紹】

【準(zhǔn)備工作】

1. VMware：11.0.0 build-2305329 (下載：http://pan.baidu.com/s/1skq0oP3 )

2. CentOS：CentOS-6.7-x86_64-bin-DVD1.iso (下載：http://pan.baidu.com/s/1o7xYgGE )

                    或Ubuntu(以CentOS為例，一般生產(chǎn)環(huán)境用的是CentOS)

3. 本地機(jī)器配置：

5. JDK

（1）版本1.7.9

（2）下載地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

【運(yùn)行MapReduce】

1. 準(zhǔn)備數(shù)據(jù)

    在本地目錄創(chuàng)建wordcount.txt文件，并隨便輸入寫英文，如：

aa bb cc dd

2. 上傳文件

hadoop fs -put ./wordcount.txt /workspace

3. 執(zhí)行命令

hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /workspace/wordcount.txt /outpath

4. UI查看任務(wù)

http://192.168.159.130:8088/cluster/app/RUNNING

5. 查看結(jié)果

hadoop fs -cat /outpath/*

aa    1

bb    1

cc    1

dd    1 

【遇到的問題】

1. 拒絕連接

    問題描述：在啟動和運(yùn)行任務(wù)時報連接拒絕等問題。

    解決方案：檢查防火墻是否已關(guān)閉。

2. resourcemanager起動失敗

    問題描述：啟動集群時，其他進(jìn)程都正常，只有resourcemanager啟動失敗，或只啟動短暫幾秒鐘后失敗。

    解決方案：通過hadoop02機(jī)器（即resourcemanager所在機(jī)器）執(zhí)行sh start-all.sh啟動集群。

3. 執(zhí)行start-all.sh時出現(xiàn)異常

    問題描述：啟動集群時，報錯：Error:Cannot find configuration directory:/etc/hadoop

    解決方案：在 hadoop-env.sh  配置文件中將 export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"etc/hadoop"}替換成 export HADOOP_CONF_DIR=/usr/hadoop-2.6.0/etc/hadoop修改完后運(yùn)行 source hadoop-env.sh 讓其立即生效！

4. 運(yùn)行Wordcount報錯

    問題描述：跑自帶WordCount時候報mapreduce_shuffle does not exist。

    解決方案：在yarn-site.xml中加如下配置

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

5. 運(yùn)行Wordcount一段時間后報錯

    問題描述：hadoop org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container

    解決方案：百度說是集群的時間不同步，解決方法參考:
    http://www.chinadmd.com/file/tixiarput3eweszaceuzpttc_1.html
    http://www.aboutyun.com/thread-11397-1-2.html
    http://www.linuxde.net/2013/02/12232.html

“VMware虛擬機(jī)怎么搭建Hadoop2.7.1分布式集群”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！