CentOS上如何編譯hadoop 2.7

這篇文章主要介紹CentOS上如何編譯hadoop 2.7，文中介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們一定要看完！

官網(wǎng)下載的 hadoop執(zhí)行運(yùn)行報警告：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
put: `./in': No such file or directory

主要是lib下的native-hadoop 是32位的，所以這里我們自己在64位的系統(tǒng)上編譯hadoop

環(huán)境準(zhǔn)備：

1 下載hadoop src源碼包

2 所需軟件：java, svn, autoconf, automake, libtool, ncurses-devel, openssl-devel, gcc, lzo-devel, zlib-devel, znt, maven, protobuf, cmake

yum -y install autoconf  automake libtool ncurses-devel openssl-devel gcc lzo-devel, zlib-devel cmake

3 安裝jdk

下載jdk bin包并解壓

添加jdk環(huán)境變量

在/etc/profile文件下添加

## JAVA

export JAVA_HOME=/usr/local/java/jdk

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

## PATH 

export PATH=$JAVA_HOME/bin

讓重載環(huán)境變量  . /etc/profile

4 maven安裝

apache官網(wǎng)下載 maven并解壓，然后把其 bin路徑添加到環(huán)境變量

mvn -version  

5 protobuf安裝

到網(wǎng)上搜索 protobuf-2.5.0.tar.gz，下載解壓，

./configure; make; make install

protoc --version

6 ANT安裝

apache官網(wǎng)下載 ANT bin包解壓，把其bin路徑添加到環(huán)境變量中

7 編譯hadoop

mvn package -Pdist,native,docs -DskipTests -Dtar

這里需要一個多小時或更久，并需要聯(lián)網(wǎng)下載依賴包

最后文件在 hadoop-2.7.2-src/hadoop-dist/target 中

可以直接拿 hadoop-2.7.2目錄去部署，還有一個hadoop-2.7.2.tar.gz包

以上是“CentOS上如何編譯hadoop 2.7”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道！