windows eclipse怎么遠(yuǎn)程連接hadoop集群并提交任務(wù)運(yùn)行

本篇內(nèi)容主要講解“windows eclipse怎么遠(yuǎn)程連接hadoop集群并提交任務(wù)運(yùn)行”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“windows eclipse怎么遠(yuǎn)程連接hadoop集群并提交任務(wù)運(yùn)行”吧!

1 下載插件

hadoop-eclipse-plugin-2.5.1.jar

從網(wǎng)上下載對(duì)應(yīng)版本的插件

2 配置插件 

把插件放到..\eclipse\plugins目錄下，重啟eclipse，配置Hadoop installation directory， 如果插件安裝成功，打開(kāi)Windows—Preferences后，在窗口左側(cè)會(huì)有Hadoop Map/Reduce選項(xiàng)，點(diǎn)擊此選項(xiàng)，在窗口右側(cè)設(shè)置Hadoop安裝路徑。（windows下只需把hadoop-2.5.1.tar.gz解壓到指定目錄）

3 配置Map/Reduce Locations

在Window-->Show View中打開(kāi)Map/Reduce Locations，點(diǎn)擊OK，控制臺(tái)會(huì)出現(xiàn)：

在Map/Reduce Locations中新建一個(gè)Hadoop Location。在這個(gè)View中，右鍵-->New Hadoop Location。在彈出的對(duì)話框中你需要配置Location name，如Hadoop，還有Map/Reduce Master和DFS Master。這里面的Host、Port分別為你在mapred-site.xml、core-site.xml中配置的地址及端口。

點(diǎn)擊"Finish"按鈕，關(guān)閉窗口。

4 查看是否連接成功

點(diǎn)擊左側(cè)的DFSLocations—>master （上一步配置的location name)，如能看到user，表示安裝成功

 5 新建MapReduce項(xiàng)目并運(yùn)行
   1.右擊New->Map/Reduce Project
   2.新建WordCount.java（在Hadoop的share目錄下找到mapreduce的案例，copy過(guò)來(lái)）
   3.在hdfs用命令行創(chuàng)建一個(gè)test目錄（輸出目錄可以不能創(chuàng)建,運(yùn)行MR是會(huì)自動(dòng)創(chuàng)建），并上傳一個(gè)word.txt文件(隨便寫(xiě)幾個(gè)單詞)
       hadoop fs -mkdir   /test/
       hadoop fs -copyFromLocal word.txt /test/word.txt

   4.點(diǎn)擊WordCount.java右擊-->Run As-->Run Configurations   設(shè)置輸入和輸出目錄路徑，如圖所示：

5.點(diǎn)擊WordCount.java右擊-->Run As-->Run on Hadoop

這時(shí)候會(huì)遇到很多問(wèn)題：

問(wèn)題一：空指針錯(cuò)誤

1.下載winutils的windows版本
GitHub上，有人提供了winutils的windows的版本，項(xiàng)目地址是：https://github.com/srccodes/hadoop-common-2.2.0-bin ,直接下載此項(xiàng)目的zip包，下載后是文件名是hadoop-common-2.2.0-bin-master.zip,隨便解壓到一個(gè)目錄，不要顧慮它的版本，下載好后，把winutils.exe加入你的hadoop-x.x.x/bin下，把hadoop.dll放入從C:/wondwos/system32下面，如果沒(méi)有解決則在bin目錄下也放一份。

2.配置環(huán)境變量
增加用戶變量HADOOP_HOME，值是下載的zip包解壓的目錄，然后在系統(tǒng)變量path里增加$HADOOP_HOME\bin 即可。
重啟電腦，再次運(yùn)行程序，正常執(zhí)行。不想重啟電腦可以在程序里加上：

System.setProperty("hadoop.home.dir", "F:\\hadoop\\hadoop-2.5.1");

注：F:\\hadoop\\hadoop-2.5.1是我本機(jī)解壓的hadoop的路徑。

問(wèn)題二：winutils.exe錯(cuò)誤

如果第一個(gè)錯(cuò)誤完全解決，第二個(gè)錯(cuò)誤就不會(huì)出現(xiàn)，這個(gè)錯(cuò)誤出現(xiàn)的原因或者是沒(méi)有將winutils.exe放到hadoop目錄的bin下面，或者是配置環(huán)境變量沒(méi)有生效。

問(wèn)題三：權(quán)限問(wèn)題

問(wèn)題原因：本地用戶administrator（本機(jī)windows用戶）想要遠(yuǎn)程操作hadoop系統(tǒng)，沒(méi)有權(quán)限引起的。

1、在hdfs的配置文件中，將dfs.permissions修改為False，重啟hadoop集群
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>
If "true", enable permission checking in HDFS.
If "false", permission checking is turned off,
but all other behavior is unchanged.
Switching from one parameter value to the other does not change the mode,
owner or group of files or directories.
</description>
</property>
2、執(zhí)行這樣的操作 hadoop fs -chmod -R 777 /user/hadoop

3、把計(jì)算機(jī)名改為hadoop用戶的用戶名
對(duì)于上面的第一個(gè)和第三個(gè)方法，我沒(méi)有嘗試，不知道是否有用，第二個(gè)方法可行。第二個(gè)方法是讓我們來(lái)修改HDFS中相應(yīng)文件夾的權(quán)限，后面的/user/hadoop這個(gè)路徑為HDFS中的文件路徑，這樣修改之后就讓我們的administrator有在HDFS的相應(yīng)目錄下有寫(xiě)文件的權(quán)限（所有的用戶都是寫(xiě)權(quán)限）

問(wèn)題四：日志輸出問(wèn)題

在復(fù)制了hadoop.dll后，運(yùn)行WordCount，發(fā)現(xiàn)運(yùn)行一會(huì)沒(méi)有任何信息輸出就結(jié)束了
  解決:可以寫(xiě)一個(gè)log4j日志文件，放在項(xiàng)目的src下面，查看一下日志的輸出，可能從輸出的日志中發(fā)現(xiàn)問(wèn)題。

到此，相信大家對(duì)“windows eclipse怎么遠(yuǎn)程連接hadoop集群并提交任務(wù)運(yùn)行”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！