您好,登錄后才能下訂單哦!
這篇文章主要為大家展示了“hadoop如何運行mapreduce任務(wù)”,內(nèi)容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“hadoop如何運行mapreduce任務(wù)”這篇文章吧。
通常我的做法在eclipse中編寫mapper和reduce類,以及driver類,然后打出jar放在hadoop服務(wù)器上運行
用下面的命令運行任務(wù)
hadoop aboutMapReduce.MaxTemperature /opt/ncdc/micro/ output
但是
如果沒有設(shè)置CLASSPATH環(huán)境變量的話或者CLASSPATH下找不到aboutMapReduce.MaxTemperature的時候,就報類找不到的錯誤了錯誤了
Error: Could not find or load main class aboutMapReduce.MaxTemperature
所以我的做法:
在/etc/profile或者.bash_profile中設(shè)置環(huán)境變量
HADOOP_CLASSPATH=
CLASSPATH=$CLASSPATH:$HADOOP_CLASSPATH
export HADOOP_CLASSPATH
export CLASSPATH
但是運行上面的命令的時候還應(yīng)該注意:output目錄不應(yīng)該存在,否則報錯
以上是“hadoop如何運行mapreduce任務(wù)”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。