Hadoop windows本地環(huán)境安裝教程

本篇內容介紹了“Hadoop windows本地環(huán)境安裝教程”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

有時候需要調試hadoop的程序，如果都要傳到linux上，非常不方便。我們可以搭建一個windows的單機版本hadoop環(huán)境，測試我們的代碼。

一、下載所需文件

1. JDK下載地址，jdk1.8下載

2. Hadoop下載，hadoop下載，進去后找到一個版本然后點擊 Binary download 下載到本地。

3. Hadoop windows環(huán)境編譯工具，winutils下載 ，下載后解壓出來

二、安裝文件

1.  jdk安裝，省略

2. hadoop安裝，由于下載的hadoop文件是不用安裝的，我們只需要解壓出來就可以了 解壓目錄 D:\dev-tools\hadoop\hadoop-2.8.3

三、環(huán)境變量配置

1.  jdk，省略

四、配置hadoop文件

1. 配置 core-site.xml文件

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/data/hadoop</value>
    </property>

    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2. 配置mapred-site.xml 

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>

</configuration>

配置  hdfs-site.xml

<configuration>
    <!-- 這個參數(shù)設置為1，因為是單機版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

配置 yarn-site.xml 

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

找到 hadoop-env.cmd 文件并打開，添加下面配置。

set JAVA_HOME=%JAVA_HOME%
set HADOOP_HOME=D:\dev-tools\hadoop\hadoop-2.8.3
rem %HADOOP_HOME%\bin 加入到運行時path中
set PATH=%PATH%;%HADOOP_HOME%\bin

五、替換文件

解壓我們之前下載的 winutils-master 文件，找到符合自己的版本的bin目錄，把 winutils.exe和hadoop.dll 復制到 bin 目錄

六、運行

1.運行cmd窗口，執(zhí)行hdfs namenode -format ，格式化hdfs文件系統(tǒng)。

 2.運行cmd窗口，切換到hadoop的sbin目錄，執(zhí)行start-all.cmd 啟動hadoop，包括yarn/hdfs

七、測試

打開下面的網頁可以查看hdfs狀態(tài)

在hadoop 2.x中,管理界面為 http://localhost:50070

在hadoop 3.0中，已經改為 http://localhost:9870

打開下面的網頁可以查看yarn狀態(tài)

http://localhost:8088/cluster

配置好的hadoop 2.8.3，已經上傳到網盤，可以自行下載后配置環(huán)境變量即可使用

“Hadoop windows本地環(huán)境安裝教程”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！