hadoop2.7.0如何升級(jí)到2.7.1

這篇文章給大家分享的是有關(guān)hadoop2.7.0如何升級(jí)到2.7.1的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。

使用過程中，發(fā)現(xiàn)hadoop的YARN-3832的bug，2.6.0中已解決，但是2.7.0中又出現(xiàn)了這個(gè)bug。

15/09/28 10:22:34 INFO mapreduce.Job: Task Id : attempt_1443364253801_0310_m_000000_0, Status : FAILED
Rename cannot overwrite non empty destination directory /data/hadoop/data/tmp/nm-local-dir/usercache/hadoop/filecache/60
java.io.IOException: Rename cannot overwrite non empty destination directory /data/hadoop/data/tmp/nm-local-dir/usercache/hadoop/filecache/60
        at org.apache.hadoop.fs.AbstractFileSystem.renameInternal(AbstractFileSystem.java:735)
        at org.apache.hadoop.fs.FilterFs.renameInternal(FilterFs.java:236)
        at org.apache.hadoop.fs.AbstractFileSystem.rename(AbstractFileSystem.java:678)
        at org.apache.hadoop.fs.FileContext.rename(FileContext.java:958)
        at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:366)
        at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:62)
        at java.util.concurrent.FutureTask.run(FutureTask.java:262)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
        at java.util.concurrent.FutureTask.run(FutureTask.java:262)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745)

找了好久，最終確認(rèn)該問題是hadoop的bug，不是配置出錯(cuò)。在官網(wǎng)的2.7.1的release中找到了YARN-3832的bug。所以對(duì)hadoop進(jìn)行升級(jí)。

從2.7.0升級(jí)為2.7.1，升級(jí)步驟如下：

1.下載安裝包后，下載native的64位包，替換新版本中的native。

2.修改2.7.1中的配置文件，保持與當(dāng)前集群配置一致，修改配置文件后，分發(fā)到各臺(tái)hadoop集群機(jī)器的一個(gè)臨時(shí)目錄中。我的配置文件列表有：core-site.xml、excludes、hadoop-env.sh、hdfs-site.xml、mapred-env.sh、mapred-site.xml、master、slaves、yarn-env.sh、yarn-site.xml

3.停掉hadoop集群。

4.登錄每臺(tái)hadoop節(jié)點(diǎn)的服務(wù)器，先備份hadoop的安裝文件目錄。然后進(jìn)入hadoop安裝目錄，執(zhí)行rm -rf bin etc include lib libexec LICENSE.txt NOTICE.txt README.txt sbin share

5.將臨時(shí)目錄中的2.7.1的hadoop文件拷貝至安裝目錄。

6.執(zhí)行start-all.sh，啟動(dòng)hadoop集群，訪問http://localhost:50070/dfshealth.html#tab-overview ，查看hadoop版本是否已更新，查看各節(jié)點(diǎn)狀態(tài)是否正常。

感謝各位的閱讀！關(guān)于“hadoop2.7.0如何升級(jí)到2.7.1”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！