您好,登錄后才能下訂單哦!
本篇文章給大家分享的是有關(guān)怎么在Windows環(huán)境中使用IDEA配置一個Hadoop開發(fā)環(huán)境,小編覺得挺實(shí)用的,因此分享給大家學(xué)習(xí),希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。
1.Hadoop在windows當(dāng)中的安裝
首先在Windows系統(tǒng)里打開瀏覽器,下載hadoop的安裝包(二進(jìn)制文件): http://hadoop.apache.org/releases.html
打開網(wǎng)址,我們會發(fā)現(xiàn)這樣的界面:
由于hadoop在開發(fā)當(dāng)中我們常常使用了2.x版本的,因此這里我們這里下載2.10.1版本的。如果你想使用其他版本的進(jìn)行下載,那么在下載之前需要檢查以下maven倉庫里是否有相應(yīng)版本所對應(yīng)的版本,不然在使用IDEA進(jìn)行開發(fā)的時候,則無法運(yùn)行。我們打開網(wǎng)址:https://mvnrepository.com/
在其中搜索hadoop.則會出現(xiàn)以下的界面:
鼠標(biāo)往下滑動,發(fā)現(xiàn)果然!2.10.1的版本出現(xiàn)了!因此我們可以使用找個版本的hadoop,因?yàn)樵趍aven倉庫里是可以找到的,這樣就不會出現(xiàn)無法編程調(diào)用hadoop的問題:
我們下載之后的文件二進(jìn)制文件后綴名為tar.gz,你可以來到你下載的地方,使用windows下的壓縮包軟件直接進(jìn)行解壓,我使用的是2345壓縮軟件進(jìn)行的解壓。有些教程讓我們必須在windows下模擬的linux環(huán)境下(MinGW)才能夠解壓,其實(shí)完全不用,就把tar.gz當(dāng)作普通的壓縮文件就好了,解壓之后將文件夾更名為hadoop。
3.設(shè)置環(huán)境變量 一方面是要設(shè)置好Java的環(huán)境變量 另一方面是要設(shè)置好剛剛下載的Hadoop的環(huán)境變量
我們在環(huán)境變量處分別設(shè)置JAVA_HOME和HADOOP_HOME(目的是為了hadoop在運(yùn)行的時候能夠找到自己和java的地方在哪兒):
然后在Path里添加JAVA和hadoop的二進(jìn)制文件夾,bin文件夾,目的是我們這樣就可以使用cmd對java和haodoop進(jìn)行操作:
打開你的cmd,輸入以下命令,出現(xiàn)我這樣的輸出說明配置環(huán)境變量成功:
C:\Users\lenovo>hadoop -version java version "1.8.0_162" Java(TM) SE Runtime Environment (build 1.8.0_162-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)
接下來就是配置HDFS的文件,進(jìn)行偽分布式集群以適應(yīng)你的計(jì)算機(jī)。(備注:偽分布式集群也是分布式集群,可以起動分布式計(jì)算的效果)
我們來到之前解壓的hadoop文件夾下,打開etc/hadoop文件夾,發(fā)現(xiàn)里面有很多文件:
現(xiàn)在我們的任務(wù)就是修改這些文件當(dāng)中的代碼,務(wù)必修改,不然根本無法運(yùn)行hadoop??!
打開這個文件,在找個文件當(dāng)中的末尾添加上:
set HADOOP_PREFIX=%HADOOP_HOME% set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop set YARN_CONF_DIR=%HADOOP_CONF_DIR% set PATH=%PATH%;%HADOOP_PREFIX%\bin
將configuration處更改為:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://0.0.0.0:9000</value> </property> </configuration>
將configuration處更改為如下所示,其中
file:///F:/DataAnalytics/dfs/namespace_logs file:///F:/DataAnalytics/dfs/data
這兩個文件夾一定需要是已經(jīng)存在的文件夾,你可以在你的hadoop文件夾下隨意創(chuàng)建兩個文件夾,然后將下面的這兩個文件夾的絕對路徑替換成你的文件夾,這里我也是創(chuàng)建了兩個新的文件夾,hadoop的下載文件夾里本身是沒有的。
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>file:///F:/DataAnalytics/dfs/namespace_logs</value> </property> <property> <name>dfs.data.dir</name> <value>file:///F:/DataAnalytics/dfs/data</value> </property> </configuration>
將下方的%USERNAME%替換成你windows的用戶名!?。∵@個十分重要,不要直接復(fù)制?。?!
<configuration> <property> <name>mapreduce.job.user.name</name> <value>%USERNAME%</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.apps.stagingDir</name> <value>/user/%USERNAME%/staging</value> </property> <property> <name>mapreduce.jobtracker.address</name> <value>local</value> </property> </configuration>
修改為如下所示:
<configuration> <property> <name>yarn.server.resourcemanager.address</name> <value>0.0.0.0:8020</value> </property> <property> <name>yarn.server.resourcemanager.application.expiry.interval</name> <value>60000</value> </property> <property> <name>yarn.server.nodemanager.address</name> <value>0.0.0.0:45454</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.server.nodemanager.remote-app-log-dir</name> <value>/app-logs</value> </property> <property> <name>yarn.nodemanager.log-dirs</name> <value>/dep/logs/userlogs</value> </property> <property> <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name> <value>0.0.0.0</value> </property> <property> <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name> <value>0.0.0.0</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>-1</value> </property> <property> <name>yarn.application.classpath</name> <value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value> </property> </configuration>
在windows下的cmd,輸入cmd的命令,用于初始化環(huán)境變量。hadoop-env.cmd后綴為cmd,說明是cmd下可執(zhí)行的文件:
%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd
12.格式化文件系統(tǒng)(File System)
這個命令在整個hadoop的配置環(huán)境和之后的使用當(dāng)中務(wù)必僅使用一次!?。?!不然的話后續(xù)會導(dǎo)致hadoop日志損壞,NameNode無法開啟,整個hadoop就掛了!
將如下的命令輸入到cmd當(dāng)中進(jìn)行格式化:
hadoop namenode -format
輸出:
2018-02-18 21:29:41,501 INFO namenode.FSImage: Allocated new BlockPoolId: BP-353327356-172.24.144.1-1518949781495
2018-02-18 21:29:41,817 INFO common.Storage: Storage directory F:\DataAnalytics\dfs\namespace_logs has been successfully formatted.
2018-02-18 21:29:41,826 INFO namenode.FSImageFormatProtobuf: Saving image file F:\DataAnalytics\dfs\namespace_logs\current\fsimage.ckpt_0000000000000000000 using no compression
2018-02-18 21:29:41,934 INFO namenode.FSImageFormatProtobuf: Image file F:\DataAnalytics\dfs\namespace_logs\current\fsimage.ckpt_0000000000000000000 of size 390 bytes saved in 0 seconds.
2018-02-18 21:29:41,969 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
由于windows下想要開啟集群,會有一定的bug,因此我們?nèi)ゾW(wǎng)站:https://github.com/steveloughran/winutils
下載對應(yīng)版本的 winutils.exe 文件。打開這個Github倉庫后如下所示:
我們打開hadoop2.8.3/bin,選擇其中的 winutils.exe 文件進(jìn)行下載,然后將下載的這個文件放入到本地的hadoop/bin文件當(dāng)中。不然的話,你打開一會兒你的偽分布式集群,馬上hadoop就會自動關(guān)閉,缺少這兩個文件的話。
我本地的bin文件最終如下所示:
下面就是最激動人心的開啟hadoop集群了?。。?!我們在cmd當(dāng)中輸入:
C:\Users\lenovo>%HADOOP_HOME%/sbin/start-all.cmd This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd starting yarn daemons
這樣就會跳出來很多黑色的窗口,如下所示:
然后可以使用JPS工具查看目前開啟的node有哪些,如果出現(xiàn)namenode,datanode的話說明集群基本上就成功了。如下所示:
我們在瀏覽器輸入localhost:50070,如果能夠打開這樣的網(wǎng)頁,說明hadoop已經(jīng)成功開啟:
接下來就可以開始IDEA的配置了
打開IDEA之后,里面的參數(shù)和項(xiàng)目工程名稱隨便寫,等待工程創(chuàng)建完畢即可。然后我們編輯pom.xml文件,如下所示:
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.atguigu</groupId> <artifactId>hdfs1205</artifactId> <version>1.0-SNAPSHOT</version> <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> </properties> <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.8.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.10.1</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.10.1</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.10.1</version> </dependency> </dependencies> </project>
因?yàn)槲沂褂昧?.10.1版本,因此導(dǎo)入的包均為2.10.1,除了log4j,這個是固定的2.8.2版本的。
然后點(diǎn)擊我箭頭指向的同步maven倉庫,如下所示:
同步完成之后,IDEA左邊的external libararies處就會顯示大量的有關(guān)hadoop的jar包,如下所示:
這樣就說明我們導(dǎo)入maven倉庫成功了。
現(xiàn)在我們開始編寫代碼,在開啟hadoop偽分布式集群之后,代碼才可以運(yùn)行哦!
代碼如下所示:
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.net.URI; public class Test { public static void main(String[] args) throws Exception { FileSystem fs = FileSystem.get(new URI("hdfs://127.0.0.1:9000"), new Configuration()); FileStatus[] files = fs.listStatus(new Path("/")); for (FileStatus f : files) { System.out.println(f); } System.out.println("Compile Over"); } }
這段代碼的含義是遍歷hadoop文件系統(tǒng)(HDFS)下的root下所有文件的狀態(tài),并輸出,由于我目前并沒有在HDFS下put了任何文件,因此不會有輸出,出現(xiàn)這樣的輸出,說明代碼代碼運(yùn)行成功:
以上就是怎么在Windows環(huán)境中使用IDEA配置一個Hadoop開發(fā)環(huán)境,小編相信有部分知識點(diǎn)可能是我們?nèi)粘9ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。