溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

hadoop如何運行mapreduce任務(wù)

發(fā)布時間:2021-12-09 15:40:28 來源:億速云 閱讀:188 作者:小新 欄目:云計算

這篇文章主要為大家展示了“hadoop如何運行mapreduce任務(wù)”,內(nèi)容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“hadoop如何運行mapreduce任務(wù)”這篇文章吧。

通常我的做法在eclipse中編寫mapper和reduce類,以及driver類,然后打出jar放在hadoop服務(wù)器上運行

用下面的命令運行任務(wù)
hadoop  aboutMapReduce.MaxTemperature /opt/ncdc/micro/ output

但是
如果沒有設(shè)置CLASSPATH環(huán)境變量的話或者CLASSPATH下找不到aboutMapReduce.MaxTemperature的時候,就報類找不到的錯誤了錯誤了
Error: Could not find or load main class aboutMapReduce.MaxTemperature

所以我的做法:
在/etc/profile或者.bash_profile中設(shè)置環(huán)境變量
HADOOP_CLASSPATH=
CLASSPATH=$CLASSPATH:$HADOOP_CLASSPATH
export HADOOP_CLASSPATH
export CLASSPATH

但是運行上面的命令的時候還應(yīng)該注意:output目錄不應(yīng)該存在,否則報錯

以上是“hadoop如何運行mapreduce任務(wù)”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注億速云行業(yè)資訊頻道!

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI