Hadoop配置指導及使用

本篇內(nèi)容介紹了“Hadoop配置指導及使用”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠?qū)W有所成！

Hadoop配置和使用問題記錄

關(guān)于hadoop如何配置的教程網(wǎng)上已經(jīng)有不少了，配合hadoop主頁上的說明，基本可以順利在多臺機器上配置好hadoop集群。這里記錄的是我在實際配置和使用hadoop時遇到的問題，其中一些屬于hadoop周邊，如ssh配置時容易遇到的問題和解決方法，供大家參考。我目前是在windows xp里通過cygwin安裝的hadoop，版本是0.17.2.1。

1. 安裝cygwin。在www.cygwin.com下載網(wǎng)絡(luò)安裝包，在選擇組件的時候建議直接把openssh組件選中，有些版本的cygwin似乎不會自動安裝diffutils組件，所以需要手工選中一下，否則配置ssh時會提示缺少該組件包。

2. cygwin控制臺里的缺省提示符不太習慣，用export PS1="\u@\w$"設(shè)一下好多了。

3. Hadoop配置過程中配置sshd比較簡單，可以參考這個鏈接。在ssh-host-config時問到“Should privilege separation be used? (yes/no)”時回答no即可，如果由于安全因素要回答yes時，在啟動sshd時有可能遇到“Privilege separation user sshd does not exist”的錯誤信息，解決方法可參考這個鏈接。

4. 在配置ssh使用證書方式自動驗證時花了一些時間，后來覺得可能是由于機器上有兩個版本的cygwin的緣故，因為在另一臺機器上安裝就沒有出現(xiàn)問題。在使用ssh-keygen -t rsa命令后提示輸入密碼時，直接按兩次回車即可。公鑰的復制等過程這里不再贅述。

5. 試圖在Eclipse里運行hadoop的WordCount程序時提示異常：“javax.security.auth.login.LoginException: Login failed: CreateProcess: whoami error=2”，解決方法是把c:\cygwin\bin加入系統(tǒng)的path環(huán)境變量，然后重啟Eclipse以便改動生效。

6. 在Eclipse里運行WordCount時遇到j(luò)ava heap size不夠的異常，在運行Hadoop配置里加入-Xms200M就可以解決。（hadoop的helloworld要求的內(nèi)存比較多？）

7. 當要運行的運算依賴第三方類庫時，這個鏈接有所討論，但暫時沒看到除了在命令行里使用hadoop jar命令以外的解決方法，比如在0.17.2和0.18.1版本里我都沒有看到JobConf類里有類似addJar()這樣的方法，在JobConf#setJar()里使用逗號分隔多個jar文件的方式則會報找不到文件的錯誤。解決方式可能有兩個：a)把所需要的第三方j(luò)ar文件復制到每個節(jié)點機器的jre里（暫時沒有試驗） b)把第三方j(luò)ar包和自己的類打到一個包里。

update: 在網(wǎng)上找到另一種方式，通過DistributedCache實現(xiàn)，原文里可能有筆誤，我試驗正確的方法是調(diào)用DistributedCache.addArchiveToClassPath()方法，注意其***個參數(shù)必須是相對路徑，如“/test/lib /my.jar”，而不能是像“hdfs://192.168.0.5:47110/test/lib/my.jar”這樣的絕對路徑。關(guān)于 DistributedCache的說明在里有一些。

8. 調(diào)試mapreduce程序的方式，在這個鏈接里講得比較清楚了，因為很有用所以特意重復一次。如果文件存放在HDFS里，那么只需要調(diào)用JobConf#.set("mapred.job.tracker", "local");即可；如果文件也是存在本地的，還需要調(diào)用JobConf#set("fs.default.name", "local");方法。我通常讓文件存在HDFS里調(diào)試，因為要使用本地文件要么參數(shù)需要改變，要么代碼需要改變，維護兩個環(huán)境很麻煩。在程序里用System.out.println()輸出的內(nèi)容可以在datanode的hadoop安裝路徑的logs/userlogs目錄里找到。

9. 當使用自定義InputFormat時，特別是使用EMF模型元素作為key的時候，需要注意并不是在代碼的任何地方都能得到xmi:id的值的。具體來說，在WritableComparable#write()方法里能得到（前提是該對象本來就有resource，即eobj.eResource()!=null），而在WritableComparable#readFields()里是不能得到的，在RecordWriter#write()方法里同樣不能得到，因為后兩者的EMF元素對象都是反序列化得到的，已經(jīng)不是內(nèi)存里原來的那個實例了。

10. map進行到100%后，reduce過程進行到某個數(shù)值（如16%）后就不再繼續(xù)，直到被hadoop強制關(guān)閉。

“Hadoop配置指導及使用”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！