spark-local 模式 提示 /tmp/hive hdfs 權(quán)限不夠的問(wèn)題

   spark版本為2.0    

    在spark 在 local 模式下啟動(dòng)，有時(shí)會(huì)報(bào)/tmp/hive hdfs 權(quán)限不夠的問(wèn)題，但是我們并沒(méi)有將hdfs-site.xml配置文件放到我們的項(xiàng)目中，spark的文件應(yīng)該會(huì)存在本地電腦上，但是為什么會(huì)報(bào)這個(gè)錯(cuò)誤呢？這個(gè)問(wèn)題非常詭異，有的同事會(huì)報(bào)此錯(cuò)誤，有的則不會(huì)。都是同樣的配置。

        這是在2016/10/31 報(bào)的錯(cuò)誤，之前在本地測(cè)試從來(lái)不會(huì)報(bào)這個(gè)錯(cuò)誤，但是在這天早上2個(gè)同事反映起不來(lái)項(xiàng)目，我自己試了一下也起不來(lái)，同樣的錯(cuò)誤。

最終發(fā)現(xiàn)spark報(bào)的錯(cuò)誤不準(zhǔn)確，如果在windows環(huán)境下spark會(huì)去某一個(gè)盤(pán)下創(chuàng)建“tmp/hive/用戶(hù)名” 的文件夾，在這個(gè)文件夾下存放一些臨時(shí)文件，注意，這里并不是數(shù)據(jù)文件，數(shù)據(jù)文件的地址另有設(shè)置。我們發(fā)現(xiàn)報(bào)錯(cuò)的同事都是只創(chuàng)建了“tmp/hive”的文件夾，下面的用戶(hù)名文件夾并沒(méi)有創(chuàng)建成功，可以推斷，spark在下次啟動(dòng)的時(shí)候，創(chuàng)建此文件夾出錯(cuò)了，所以我們把“tmp/hive”的文件夾刪除，再次啟動(dòng)，spark就可以正常運(yùn)行了，運(yùn)行成功后會(huì)創(chuàng)建“tmp/hive/用戶(hù)名” 的文件夾。

值得一提的是，本機(jī)測(cè)試之前沒(méi)有出現(xiàn)此問(wèn)題，之前都是創(chuàng)建在E盤(pán)下

而2016/10/31（周一）來(lái)時(shí)，spark卻選擇了C盤(pán)，期間，代碼，配置，環(huán)境等都沒(méi)有變化，這個(gè)原因到目前未能解開(kāi)。

這個(gè)xiaokan的文件夾也是一定要在第一次spark啟動(dòng)失敗后（創(chuàng)建了tmp/hive）,后將tmp/hive刪除后才能創(chuàng)建起來(lái)，具體原理，至今未明確。

這里補(bǔ)充一句，在后續(xù)我們使用spark2.1版本后，再也沒(méi)有出現(xiàn)此問(wèn)題，可能是spark2.0的坑吧。