Ubuntu上怎么為eclipse安裝hadoop插件以及在eclipse運行Hadoop程序

本篇內(nèi)容介紹了“Ubuntu上怎么為eclipse安裝hadoop插件以及在eclipse運行Hadoop程序”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

    Hadoop版本：0.20.203.0

    eclipse版本：indigo最新版（http://www.eclipse.org/downloads/ ）

    安裝eclipse其實就是解壓，不過得先修改壓縮文件的權(quán)限：

sudo chmod 777 eclipse-jee-indigo-SR2-linux-gtk-x86_64.tar.gz

    然后將解壓出來的文件夾的權(quán)限也改為777：

sudo chmod 777 -R eclipse

    現(xiàn)在可以進(jìn)入到eclipse文件夾中打開eclipse了，但還不能編寫Hadoop程序。下面，問題也就來了

    網(wǎng)上說直接把hadoop-0.20.203.0/contrib/下的hadoop-eclipse-plugin-0.20.203.0.jar復(fù)制到eclipse/plugins下就可以了，但是筆者就遇到如下問題：Map/Reduce location status updater,org/codehaus/jackson/map/JsonMappingException

    查找網(wǎng)上的解決辦法，說是剛才復(fù)制的包里少了5個jar包，要加入進(jìn)去，到hadoop的根目錄下的lib文件夾里將下列5個包加入hadoop-eclipse-plugin-0.20.203.0.jar的lib中（把剛才復(fù)制的那個包打開，直接將下面這五個包拖進(jìn)去就行了）

    commons-configuration-1.6.jar

    commons-httpclient-3.0.1.jar

    commons-lang-2.4.jar

    jackson-core-asl-1.0.1.jar

    jackson-mapper-asl-1.0.1.jar

    然后更改該包META-INF目錄下的MANIFEST.MF，將classpath修改為一下內(nèi)容：

Bundle-ClassPath:classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

    保存退出，最后，把這個新的包復(fù)制過去重現(xiàn)打開eclipse

    然后，在eclipse中加入Hadoop的路徑，如下：

    加入Hadoop路徑即可

    打開MapReduce視圖：

    然后選則Map/Reduce：

    然后可以看到下面多出了Map/Reduce Locations

    在下方空白處單擊右鍵選擇New Hadoop location，出現(xiàn)如下畫面：

    Map/Reduce Master中填寫mapred-site.xml中的端口號，旁邊那個Port中填寫core-site.xml中的端口號

    上面那個Location name隨便填一個就行。完成后可以看到左邊如下圖：

    不過里面的內(nèi)容不會馬上顯示，必須刷新一下。以后在運行程序，或者上傳東西到HDFS上后都得刷新才能看到東西，如果各位要在這上面看的話。

    現(xiàn)在，演示一個在eclipse上執(zhí)行Hadoop程序的操作（程序為WordCount）：

    選擇Run Congratulations：

    進(jìn)入如下畫面：

    左側(cè)雙擊Java Application，右側(cè)的內(nèi)容將自動生成，然后切換到Arguments選項卡，填入如下內(nèi)容：

    前一段為輸入文件夾，后一段為輸出文件夾。點擊Run，程序開始運行，如下：

    運行成功，結(jié)果如下：

“Ubuntu上怎么為eclipse安裝hadoop插件以及在eclipse運行Hadoop程序”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！