溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

fs.defaultFS變更使spark-sql查詢hive失敗是怎么回事

發(fā)布時(shí)間：2021-12-10 10:03:00 來源：億速云 閱讀：225 作者：小新 欄目：大數(shù)據(jù)

這篇文章將為大家詳細(xì)講解有關(guān)fs.defaultFS變更使spark-sql查詢hive失敗是怎么回事，小編覺得挺實(shí)用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。


我們在將hdfs換成?可?后，我們的namede地址發(fā)?變更，也就是我們的fs.defaultFS發(fā)?變更后， 需要注意：這些修改會影響到我們的hive的正常運(yùn)?，因?yàn)槲覀僪ive在建表的時(shí)候，其實(shí)已經(jīng)改變了該表 的數(shù)據(jù)存放路徑。會導(dǎo)致我們在提交spark腳本【執(zhí)?spark-sql】的腳本，報(bào)錯。如下圖所示：?直顯 示，讀取?的hdfs的namenode路徑。  
fs.defaultFS變更使spark-sql查詢hive失敗是怎么回事
這?，我們可以訪問我們的hive元數(shù)據(jù)表 SDS，如下圖所示：發(fā)現(xiàn)還是以未升級前的namenode地 址，也就是master:9000。  
fs.defaultFS變更使spark-sql查詢hive失敗是怎么回事
因此，我們需要修改這些存儲信息，有兩種?式：
  1. 直接修改表的信息 
  2. 利?hive?帶的?具
metatool -updateLocation <new-location> <old-location>
在裝有hive的節(jié)點(diǎn)執(zhí)?命令
   
     
   
   
   metatool -updateLocation hdfs://bi hdfs://master:9000/
查詢元數(shù)據(jù)信息是否發(fā)?更改

   
     
   
   
   metatool -listFSRoot
fs.defaultFS變更使spark-sql查詢hive失敗是怎么回事
此時(shí)，hive的元數(shù)據(jù)信息已經(jīng)發(fā)生變更，可以正常使用

關(guān)于“fs.defaultFS變更使spark-sql查詢hive失敗是怎么回事”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手