溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

怎么解決java.io.IOException: Cannot obtain block length for LocatedBlock的問題

發(fā)布時(shí)間：2021-12-06 14:21:45 來源：億速云 閱讀：143 作者：柒染 欄目：云計(jì)算

本篇文章為大家展示了怎么解決java.io.IOException: Cannot obtain block length for LocatedBlock的問題，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

在hadoop測(cè)試集群運(yùn)行job的過程中發(fā)現(xiàn)部分運(yùn)行失敗，有Cannot obtain block length for LocatedBlock，使用hdfs dfs -cat ${文件}的時(shí)候也報(bào)這個(gè)錯(cuò)，看過代碼后發(fā)現(xiàn)是文件未被正常關(guān)閉(flume傳到hdfs上的，可能由于Namenode長(zhǎng)時(shí)間gc或者切換或者重啟會(huì)留下很多.tmp結(jié)尾的文件)，為此，使用hadoop命令顯示處于打開狀態(tài)的文件，然后刪除這些文件：

hadoop fsck / -openforwrite | egrep -v '^\.+$' | egrep "MISSING|OPENFORWRITE" | grep -o "/[^ ]*" | sed -e "s/:$//" | xargs -i hadoop fs -rmr {};

然后重傳這些文件到hdfs。

上述內(nèi)容就是怎么解決java.io.IOException: Cannot obtain block length for LocatedBlock的問題，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注億速云行業(yè)資訊頻道。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手