windows上如何編譯和安裝hadoop2

小編給大家分享一下windows上如何編譯和安裝hadoop2，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

一、編譯Hadoop

1.1 部署編譯環(huán)境

博主曾嘗試使用官方提供的依賴(lài)軟件最新版，被翻來(lái)覆去的打了好幾次臉，所以，至少在本文成文的時(shí)候的各依賴(lài)軟件的最新版本都基本無(wú)法正常編譯，所以還是用官方推薦的版本

提供了網(wǎng)盤(pán)地址 點(diǎn)我下載各種環(huán)境軟件 下面的依賴(lài)包基于網(wǎng)盤(pán)內(nèi)的文件進(jìn)行說(shuō)明

1. jdk-7u79-windows-x64.exe
   JDK不多說(shuō)了，直接安裝，注意不要把它安裝在有空格的路徑下面，對(duì)沒(méi)錯(cuò)說(shuō)的就是 Program Files，直接裝到 D:\Java 吧，挺不錯(cuò)的（其實(shí)不是不能裝，就是配置環(huán)境變量會(huì)有點(diǎn)麻煩，麻煩越少越好，你懂的）。 需要設(shè)置環(huán)境變量 JAVA_HOME=jdk的安裝目錄 另外需要把 %JAVA_HOME%\bin 加入PATH。

2. apache-maven-3.3.9-bin.zip MAVEN java 的依賴(lài)包和編譯工具，下載之后解壓即可。 需要把 MAVEN的解壓目錄\bin 加入PATH。

3. cmake-3.5.2-win32-x86.zip cmake 編譯工具，下載后解壓即可。 需要把 cmake的解壓目錄\bin 加入 PATH。

4. cygwin64-downloaded.zip cygwin是windows下的linux命令行模擬工具。其實(shí)只是maven里面寫(xiě)的命令都是基于linux的，所以windows下執(zhí)行腳本會(huì)報(bào)錯(cuò)，所以我提供了壓縮包版本，直接解壓即可。（當(dāng)然，目錄里有安裝版，但我覺(jué)得應(yīng)該沒(méi)必要） 需要把 cygwin的解壓目錄\bin 加入PATH。

5. protoc-2.5.0-win32.zip google提供的數(shù)據(jù)序列化包，壓縮包里只有一個(gè) protoc.exe，下載解壓即可。 需要把 protoc的解壓目錄 加入PATH。

6. zlib-1.2.7.3-binary.zip zlib壓縮庫(kù)，這個(gè)網(wǎng)上沒(méi)有找到二進(jìn)制版本，這個(gè)binary是我自己編譯的，所以如果出了問(wèn)題，咳咳，請(qǐng)下載 source版本自行另外編譯。下載解壓即可。 需要添加環(huán)境變量ZLIB_HOME=zlib的解壓目錄。

7. vs2010 / winsdk7.1 其實(shí)博主一開(kāi)始是打算用winsdk的，后來(lái)發(fā)現(xiàn)zlib找不到編譯版本只能編譯，所以就裝了vs2010。所有后來(lái)也是用的vs2010的cmd。PS.博主把vs的安裝包(英文版)也放了進(jìn)去（當(dāng)然大家網(wǎng)上隨便找找都可以啦）。

8. hadoop-common.git.source.zip hadoop 的源碼包，其實(shí)是博主git下來(lái)然后打包的，有條件的同學(xué)自行g(shù)it吧。

   git clone git://git.apache.org/hadoop-common.git

1.2 測(cè)試編譯環(huán)境

菜單里找到 Visual Studio Command Prompt (2010) 這個(gè)打開(kāi)一個(gè)命令行窗口，然后輸入以下命令進(jìn)行測(cè)試：

java -version
mvn -version
tar
protoc
echo %ZLIB_HOME%

其實(shí)基本上都是PATH沒(méi)有配置好，在cmd里直接重新設(shè)置一下就可以了。驗(yàn)證完不要關(guān)哦，我們還在在這個(gè)命令行里進(jìn)行編譯。

1.3 編譯嘍~ 編譯之前還要設(shè)置一個(gè)環(huán)境變量，只是編譯的平臺(tái)：

set Platform=x64

哦，忘記了，還要把目錄切換到hadoop的源碼目錄： ##直接輸入盤(pán)符:可以切換磁盤(pán)，如 P:,切到對(duì)應(yīng)磁盤(pán)下面才能進(jìn)行cd操作 cd P:\Code\hadoop-common 然后就可以輸入maven命令編譯hadoop了。

mvn package -Pdist,native-win -DskipTests -Dtar

好了，運(yùn)氣好的話(huà)，等等就可以收編譯好的包啦。

細(xì)心的同學(xué)可以看一下上面圖片有一個(gè)“彩蛋”哦*

對(duì)了，編譯完成之后的文件在 hadoop-common\hadoop-dist\target\hadoop-3.0.0-SNAPSHOT.tar.gz

以上是“windows上如何編譯和安裝hadoop2”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！