怎么實(shí)現(xiàn)Hadoop集群搭建

怎么實(shí)現(xiàn)Hadoop集群搭建，相信很多沒有經(jīng)驗(yàn)的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

閱讀編譯文檔 準(zhǔn)備一個hadoop源碼包，我選擇的hadoop版本是：hadoop-2.7.7-src.tar.gz，在hadoop-2.7.7的源碼 包的根目錄下有一個文檔叫做BUILDING.txt，這其中說明了編譯hadoop所需要的一些編譯環(huán)境相關(guān)的 東西。不同的hadoop版本的要求都不一樣。對應(yīng)的版本參照BUILDING.txt

準(zhǔn)備一臺Unix類型操作系統(tǒng)，在這里我們選用的是CentOS-7.4，初次編譯要求必須聯(lián)網(wǎng)，切記：以下 這些東西都是需要的，詳細(xì)安裝在下面，這里只介紹我準(zhǔn)備這些軟件所選擇的版本。

2. 安裝對應(yīng)軟件 對應(yīng)以上需求，我們準(zhǔn)備好所要求版本的這些軟件。

2.1. 安裝openssl-devel 執(zhí)行下面的所有命令： yum -y install svn yum -y install autoconf automake libtool cmake zlib-devel lzo-devel yum -y install ncurses-devel yum -y install openssl-devel yum -y install zlib1g-dev libssl-dev 這個安裝過程，如果能連上網(wǎng)，那么等待命令執(zhí)行完成即可。

2.2. 安裝gcc 先使用命令檢測一下看gcc是否已經(jīng)安裝過了 [root@compile_hadoop soft]# gcc -v gcc version 4.4.7 20120313 (Red Hat 4.4.7-16) (GCC)

如果最后一行出現(xiàn)如上的gcc版本信息日志，表示已經(jīng)安裝成功過了。不然使用命令安裝：

2.3. 安裝gcc-c++ 直接使用命令安裝： yum install -y gcc

2.4. 安裝JDK 我們選擇的安裝包：jdk-7u80-linux-x64.tar.gz 第一步：從官網(wǎng)下載安裝包

第二步：上傳安裝到編譯機(jī)，然后解壓安裝 tar -zxvf /root/jdk-7u80-linux-x64.tar.gz -C /root/apps/

第三步：配置環(huán)境變量 vi /etc/profile export JAVA_HOME=/root/apps/jdk1.7.0_80 export PATH=PATH:JAVA_HOME/bin export CLASSPATH=.:/root/apps/jdk1.7.0_80/lib/dt.jar:/root/apps/jdk1.7.0_80/lib/tools.jar

第四步：檢測安裝是否成功 source /etc/profile java -version

2.5. 安裝Maven 我們選擇的安裝包：apache-maven-3.5.3-bin.tar.gz 第一步：從官網(wǎng)下載安裝包

第二步：上傳到服務(wù)器，解壓安裝 tar -zxvf /root/apache-maven-3.5.3-bin.tar.gz -C /root/apps/

第三步：修改配置文件（如果需要更改默認(rèn)的maven倉庫路徑的話） 1、進(jìn)入到maven安裝包的conf目錄 cd /root/apps/apache-maven-3.5.3/conf

2、修改配置文件settings.xml 在配置文件的中部找到localRepository這個標(biāo)簽，它本來是注釋了的，并且有一個默認(rèn)倉庫路徑，我們 最好自己設(shè)置一個，所以我自己加了一個，我的路徑是： /root/mavenlocalrepo/

3、如果為了節(jié)省時間，可以把我提供的mavenlocalrepo文件夾，直接上傳到root用戶的家目錄。替換 你的mavenlocalrepo文件夾。這樣就可以極大節(jié)省下載maven依賴的時間。提高效率。

第四步：配置環(huán)境變量 vi /etc/profile 追加如下內(nèi)容： export M2_HOME=/root/apps/apache-maven-3.5.3 export PATH=PATH:M2_HOME/bin

第五步：檢測是否成功 source /etc/profile java -version

第六步：設(shè)置maven倉庫 這個操作不是必須的，但是最好去操作一下，提高效率。 鑒于遠(yuǎn)程maven倉庫的網(wǎng)絡(luò)連接不穩(wěn)定，可以修改和配置遠(yuǎn)程倉庫為阿里的。詳細(xì)配置如下：

alimaven-central central aliyun maven http://maven.aliyun.com/nexus/content/repositories/central/

alimaven aliyun maven http://maven.aliyun.com/nexus/content/groups/public/ central

jboss-public-repository-group central JBoss Public Repository Group http://repository.jboss.org/nexus/content/groups/public

2.6. 安裝Ant 我們選擇的安裝包：apache-ant-1.9.9-bin.tar.gz 第一步：從官網(wǎng)下載安裝包

第二步：上傳安裝包到編譯機(jī)，然后解壓縮安裝 tar -zxvf /root/apache-ant-1.9.9-bin.tar.gz -C /root/apps/

第三步：配置環(huán)境變量 追加如下內(nèi)容：

第四步：檢測是否成功

2.7. 安裝FindBugs 我們選擇的安裝包：findbugs-3.0.0.tar.gz 第一步：從官網(wǎng)下載安裝包

第二步：上傳安裝包到編譯機(jī)，然后解壓縮安裝

第三步：配置環(huán)境變量： 追加如下內(nèi)容： vi /etc/profile export ANT_HOME=/root/apps/apache-ant-1.9.9 export PATH=PATH:ANT_HOME/bin 第四步：檢測安裝是否成功 source /etc/profile ant -version

2.7. 安裝FindBugs 我們選擇的安裝包：findbugs-3.0.0.tar.gz 第一步：從官網(wǎng)下載安裝包

第二步：上傳安裝包到編譯機(jī)，然后解壓縮安裝 tar -zxvf /root/findbugs-3.0.0.tar.gz -C /root/apps/ 第三步：配置環(huán)境變量： 追加如下內(nèi)容： vi /etc/profile export ANT_HOME=/root/apps/apache-ant-1.9.9 export PATH=PATH:ANT_HOME/bin 第四步：檢測安裝是否成功 source /etc/profile ant -version

2.8. 安裝make 先檢測以下系統(tǒng)是否安裝了make工具： make -version 如果沒有安裝過make，那么請使用命令安裝： yum install -y make

2.9. 安裝Cmake 我們選擇的安裝包：cmake-2.8.12.2.tar.gz

第一步：從官網(wǎng)下載安裝包

第二步：上傳安裝包到編譯機(jī)，然后解壓縮安裝 tar -zxvf /root/cmake-2.8.12.2.tar.gz -C /root/apps/ 第三步：編譯安裝 首先進(jìn)入到根目錄： cd /root/apps/cmake-2.8.12.2/ 然后依次執(zhí)行以下命令：這個步驟的時間有點(diǎn)長，耐心等待一下。 ./bootstrap gmake & gmake install

第四步：檢測安裝是否成功 cmake -version

2.10. 安裝Protobuf 我們選擇的安裝包：protobuf-2.5.0.tar.gz

第一步：從官網(wǎng)下載安裝包

第二步：上傳安裝包到編譯機(jī)，然后解壓縮安裝 tar -zxvf /root/protobuf-2.5.0.tar.gz -C /root/apps/ 第三步：編譯安裝

首先進(jìn)入到根目錄： cd /root/apps/protobuf-2.5.0/

然后依次執(zhí)行以下命令： ./configure --prefix=/root/apps/protobuf # 表示安裝到這個目錄 make make check make install 以上的執(zhí)行，都比較耗時，只要沒報錯，請耐心等待著.......>_<

第四步：配置環(huán)境變量 添加如下內(nèi)容： vi /etc/profile export PROTOBUF_HOME=/root/apps/protobuf export PATH=PATH:PROTOBUF_HOME/bin 注意：PROTOBUF_HOME就是我們在執(zhí)行configure命令的時候指定的目錄

第五步：檢測安裝是否成功 source /etc/profile protoc --version 2.11. 安裝Snappy 我們選擇的安裝包：snappy-1.1.1.tar.gz 第一步：從官網(wǎng)下載安裝包

第二步：上傳安裝包到編譯機(jī)，然后使用root用戶安裝 tar -zxvf /root/snappy-1.1.1.tar.gz -C /root/apps/

第三步：編譯安裝 cd ~/apps/snappy-1.1.1/ ./configure make make install

第四步：查看snappy lib庫

查看snappy庫文件 ls -lh /usr/local/lib |grep snappy

編譯Hadoop 第一步：解壓hadoop源碼包 tar -zxvf /root/hadoop-2.7.7-src.tar.gz -C /root/apps/ 第二步：在編譯之前防止 java.lang.OutOfMemoryError: Java heap space 堆棧問題,在centos系統(tǒng)中執(zhí) 行命令 export MAVEN_OPTS="-Xms256m -Xmx512m" 第三步：切換工作目錄到hadoop-2.7.7根目錄下： cd /root/apps/hadoop-2.7.7-src 第四步：執(zhí)行編譯 Create binary distribution with native code and with documentation:

mvn clean package -Pdist,native -DskipTests -Dtar -Dsnappy.lib=/usr/local/lib - Dbundle.snappy -Drequire.openssl 如果中途編譯失敗，請重復(fù)執(zhí)行這個命令，直到成功。 如果編譯過程中，發(fā)現(xiàn)卡住了，請停止這個命令，然后重新再執(zhí)行一遍就可以了。

查看snappy庫文件 ls -lh /usr/local/lib |grep snappy

PS：tar和dist表示用maven項(xiàng)目管理工具對hadoop進(jìn)行編譯，編譯好了之后會打成tar.gz包放到 hadoop-dist目錄下，native和docs表示編譯出來會編譯出來本地庫，并且把文檔打包到該.tar.gz文件 中，skipTests表示忽略測試 PS：如果有關(guān)于KMS的編譯報錯的話，大概是因?yàn)閠omcat（apache-tomcat-6.0.48.tar.gz）的下載有 問題。請自行下載，然后放到對應(yīng)的位置，可以參考這篇文章來解決：https://blog.csdn.net/qq_3413 9020/article/details/90340425，異常信息是這樣的： [ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun- plugin:1.7:run (dist) on project hadoop-kms: An Ant BuildException has occured: exec returned: 2 [ERROR] around Ant part ...... @ 10:118 in /root/apps/hadoop-2.7.7-src/hadoop-common-project/hadoop- kms/target/antrun/build-main.xml

自行下載tomcat放到： cp ~/apache-tomcat-6.0.48.tar.gz /root/apps/hadoop-2.7.7-src/hadoop-common-project/hadoop-kms/downloads cp ~/apache-tomcat-6.0.48.tar.gz /root/apps/hadoop-2.7.7-src/hadoop-hdfs-project/hadoop-hdfs-httpfs/downloads

第五步：靜靜等待編譯……. 第一次編譯預(yù)估一個小時左右

第六步：編譯成功 編譯成功了的話，最后的日志信息。 [INFO] ------------------------------------------------------------------------ [INFO] Reactor Summary: [INFO] [INFO] Apache Hadoop Main 2.7.7 ........................... SUCCESS [ 4.549 s] [INFO] Apache Hadoop Build Tools .......................... SUCCESS [ 3.072 s] [INFO] Apache Hadoop Project POM .......................... SUCCESS [ 2.412 s] [INFO] Apache Hadoop Annotations .......................... SUCCESS [ 4.514 s] [INFO] Apache Hadoop Assemblies ........................... SUCCESS [ 0.332 s] [INFO] Apache Hadoop Project Dist POM ..................... SUCCESS [ 2.572 s] [INFO] Apache Hadoop Maven Plugins ........................ SUCCESS [ 7.925 s] [INFO] Apache Hadoop MiniKDC .............................. SUCCESS [ 8.304 s] [INFO] Apache Hadoop Auth ................................. SUCCESS [ 8.775 s] [INFO] Apache Hadoop Auth Examples ........................ SUCCESS [ 4.661 s] [INFO] Apache Hadoop Common ............................... SUCCESS [02:00 min] [INFO] Apache Hadoop NFS .................................. SUCCESS [ 9.090 s] [INFO] Apache Hadoop KMS .................................. SUCCESS [ 14.194 s] [INFO] Apache Hadoop Common Project ....................... SUCCESS [ 0.093 s] [INFO] Apache Hadoop HDFS ................................. SUCCESS [02:41 min] [INFO] Apache Hadoop HttpFS ............................... SUCCESS [ 23.714 s] [INFO] Apache Hadoop HDFS BookKeeper Journal .............. SUCCESS [ 8.954 s] [INFO] Apache Hadoop HDFS-NFS ............................. SUCCESS [ 5.944 s] [INFO] Apache Hadoop HDFS Project ......................... SUCCESS [ 0.042 s] [INFO] hadoop-yarn ........................................ SUCCESS [ 0.077 s] [INFO] hadoop-yarn-api .................................... SUCCESS [ 47.872 s]

第七步：尋找安裝好的安裝包 編譯成功之后，hadoop-2.7.7.tar.gz位于/root/apps/hadoop-2.7.7-src/hadoop-dist/target目錄下，這 是編譯后該文件夾的狀態(tài) [INFO] hadoop-yarn-common ................................. SUCCESS [ 47.298 s] [INFO] hadoop-yarn-server ................................. SUCCESS [ 0.101 s] [INFO] hadoop-yarn-server-common .......................... SUCCESS [ 13.572 s] [INFO] hadoop-yarn-server-nodemanager ..................... SUCCESS [ 22.335 s] [INFO] hadoop-yarn-server-web-proxy ....................... SUCCESS [ 5.139 s] [INFO] hadoop-yarn-server-applicationhistoryservice ....... SUCCESS [ 9.246 s] [INFO] hadoop-yarn-server-resourcemanager ................. SUCCESS [ 28.326 s] [INFO] hadoop-yarn-server-tests ........................... SUCCESS [ 6.921 s] [INFO] hadoop-yarn-client ................................. SUCCESS [ 8.189 s] [INFO] hadoop-yarn-server-sharedcachemanager .............. SUCCESS [ 5.153 s] [INFO] hadoop-yarn-applications ........................... SUCCESS [ 0.046 s] [INFO] hadoop-yarn-applications-distributedshell .......... SUCCESS [ 3.670 s] [INFO] hadoop-yarn-applications-unmanaged-am-launcher ..... SUCCESS [ 2.591 s] [INFO] hadoop-yarn-site ................................... SUCCESS [ 0.115 s] [INFO] hadoop-yarn-registry ............................... SUCCESS [ 6.537 s] [INFO] hadoop-yarn-project ................................ SUCCESS [ 4.812 s] [INFO] hadoop-mapreduce-client ............................ SUCCESS [ 0.237 s] [INFO] hadoop-mapreduce-client-core ....................... SUCCESS [ 28.160 s] [INFO] hadoop-mapreduce-client-common ..................... SUCCESS [ 22.924 s] [INFO] hadoop-mapreduce-client-shuffle .................... SUCCESS [ 5.353 s] [INFO] hadoop-mapreduce-client-app ........................ SUCCESS [ 12.172 s] [INFO] hadoop-mapreduce-client-hs ......................... SUCCESS [ 8.190 s] [INFO] hadoop-mapreduce-client-jobclient .................. SUCCESS [ 8.825 s] [INFO] hadoop-mapreduce-client-hs-plugins ................. SUCCESS [ 2.338 s] [INFO] Apache Hadoop MapReduce Examples ................... SUCCESS [ 7.318 s] [INFO] hadoop-mapreduce ................................... SUCCESS [ 2.876 s] [INFO] Apache Hadoop MapReduce Streaming .................. SUCCESS [ 5.552 s] [INFO] Apache Hadoop Distributed Copy ..................... SUCCESS [ 10.235 s] [INFO] Apache Hadoop Archives ............................. SUCCESS [ 2.436 s] [INFO] Apache Hadoop Rumen ................................ SUCCESS [ 6.994 s] [INFO] Apache Hadoop Gridmix .............................. SUCCESS [ 5.701 s] [INFO] Apache Hadoop Data Join ............................ SUCCESS [ 3.263 s] [INFO] Apache Hadoop Ant Tasks ............................ SUCCESS [ 2.552 s] [INFO] Apache Hadoop Extras ............................... SUCCESS [ 3.743 s] [INFO] Apache Hadoop Pipes ................................ SUCCESS [ 7.674 s] [INFO] Apache Hadoop OpenStack support .................... SUCCESS [ 6.348 s] [INFO] Apache Hadoop Amazon Web Services support .......... SUCCESS [36:42 min] [INFO] Apache Hadoop Azure support ........................ SUCCESS [ 39.897 s] [INFO] Apache Hadoop Client ............................... SUCCESS [ 9.289 s] [INFO] Apache Hadoop Mini-Cluster ......................... SUCCESS [ 1.060 s] [INFO] Apache Hadoop Scheduler Load Simulator ............. SUCCESS [ 6.998 s] [INFO] Apache Hadoop Tools Dist ........................... SUCCESS [ 8.306 s] [INFO] Apache Hadoop Tools ................................ SUCCESS [ 0.052 s] [INFO] Apache Hadoop Distribution 2.7.7 ................... SUCCESS [ 38.204 s] [INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 51:06 min [INFO] Finished at: 2020-04-03T10:51:47+08:00 [INFO] ------------------------------------------------------------------------

第七步：尋找安裝好的安裝包 編譯成功之后，hadoop-2.7.7.tar.gz位于/root/apps/hadoop-2.7.7-src/hadoop-dist/target目錄下，這 是編譯后該文件夾的狀態(tài)

看完上述內(nèi)容，你們掌握怎么實(shí)現(xiàn)Hadoop集群搭建的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！