溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

HDFS中出現(xiàn)java.io.IOException: Mkdirs failed to create錯(cuò)誤怎么辦

發(fā)布時(shí)間:2021-12-09 14:26:15 來源:億速云 閱讀:282 作者:小新 欄目:云計(jì)算

這篇文章主要介紹HDFS中出現(xiàn)java.io.IOException: Mkdirs failed to create錯(cuò)誤怎么辦 ,文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!

在寫spark代碼的時(shí)候,在將rdd的結(jié)果保存到hdfs上時(shí),

rdd.saveAsTextFile("/data/spark")

出現(xiàn)了

java.io.IOException: Mkdirs failed to create

這個(gè)錯(cuò)誤,個(gè)人一直認(rèn)為這樣就應(yīng)該寫到hdfs上了,但是一執(zhí)行就報(bào)錯(cuò),最后才發(fā)現(xiàn),這種寫法是寫到本地了,如果要寫到hdfs上要寫上全路徑

rdd.saveAsTextFile("hdfs://192.168.23.21:9000/data/spark")

這樣就行了,總結(jié)一下

saveTextFile是將RDD保存到文件,本地模式時(shí)保存在本地文件,集群模式指如果在Hadoop基礎(chǔ)上則保存在HDFS上,由于我用的是本地模式所以會(huì)報(bào)以上的錯(cuò)誤,如果用的是集群就可以直接那樣寫了。

以上是“HDFS中出現(xiàn)java.io.IOException: Mkdirs failed to create錯(cuò)誤怎么辦 ”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI