Win7下MyEclipse遠(yuǎn)程連接到Mac/Linux中Hadoop集群

Win7下MyEclipse遠(yuǎn)程連接到Mac/Linux中Hadoop集群
（也可訪問該網(wǎng)頁(yè)查看：http://tn.51cto.com/article/562 ）
所需軟件：
（1）下載Hadoop2.5.1到Win7系統(tǒng)下，并解壓縮
Hadoop2.5.1下載地址：Indexof/dist/hadoop/core/hadoop-2.5.1
http://archive.apache.org/dist/hadoop/core/hadoop-2.5.1/

說明:Win7中下載的是Hadoop2.5.1，Mac中的Hadoop版本是Hadoop2.5;版本不一致，但測(cè)試的時(shí)候，結(jié)果沒有錯(cuò)誤，但有的人測(cè)試時(shí)說版本最好一樣，此處可以留意下。
（2）Hadoop運(yùn)行在Linux系統(tǒng)下的，在windows下eclipse中運(yùn)行hadoop程序，要首先安裝Windows下運(yùn)行的支持插件hadoop2.2-common-bin.zip,下載地址如下：https://github.com/srccodes/hadoop-common-2.2.0-bin
說明:這里使用的是hadoop2.2-common-bin.zip,和Hadoop版本不一致，但結(jié)果沒有錯(cuò)誤且沒有報(bào)異常。不配置該插件運(yùn)行Hadoop會(huì)報(bào)異常：
Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
（3）配置hadoop環(huán)境變量（與Java的環(huán)境配置有些相似）
windows環(huán)境變量配置：右鍵“我的電腦” –>屬性 ->高級(jí)環(huán)境變量配置 –>高級(jí)選項(xiàng)卡 ->環(huán)境變量 -> 單擊新建HADOOP_HOME->配置下載的Hadoop路徑。

（4）下載hadoop-eclipse-plugin-2.2.0.jar，MyEclipse/Eclipse中開發(fā)Hadoop所需插件。下載并拷貝它到MyEclipse安裝路徑的如下位置；

（5）重啟MyEclipse或Eclipse會(huì)出現(xiàn)右側(cè)“藍(lán)色大象”所示圖標(biāo)，表示插件hadoop插件安裝成功。

(6)eclipse環(huán)境配置:點(diǎn)擊“菜單Window”-->Preference-->Hadoop Map/Reduce進(jìn)行配置，如下圖所示：

(7)出現(xiàn)下圖所示view，表示配置成功。

(8) 切換到配置文件并修改
① cd hadoop/hadoop2.5/etc/hadoop
② cat core-site.xml
配置hadoop偽分布時(shí)一般使用localhost做為namenode的標(biāo)識(shí)，如圖所示。

這里需要修改成Linux的主機(jī)名或IP地址，否則windows下的Hadoop程序不能連接到Linux或者M(jìn)ac中的Hadoop上進(jìn)行運(yùn)行，且報(bào)錯(cuò)。

如圖所示，表示連接失敗：

說明：如果使用主機(jī)名進(jìn)行連接，需要配置主機(jī)名到IP的映射。
如圖所示：

（9）啟動(dòng)Mac或者Linux中的hadoop,使用jps命令觀察是否運(yùn)行成功。


（10）配置hdfs，新建New Hadooop location或者Edit Hadoop location

具體配置說明：

（11）測(cè)試：在Mac或者Linux中查看是否能夠訪問到Hdfs.如下圖所示：

上圖，顯示了hdfs中有一個(gè)文件。