溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

SparkSQL訪問Hive遇到的問題及解決方法是什么

發(fā)布時(shí)間:2021-12-07 11:36:37 來(lái)源:億速云 閱讀:350 作者:柒染 欄目:大數(shù)據(jù)

這篇文章給大家介紹SparkSQL訪問Hive遇到的問題及解決方法是什么,內(nèi)容非常詳細(xì),感興趣的小伙伴們可以參考借鑒,希望對(duì)大家能有所幫助。

需要先將hadoop的core-site.xml,hive的hive-site.xml拷貝到project中

測(cè)試代碼

SparkSQL訪問Hive遇到的問題及解決方法是什么

報(bào)錯(cuò)

SparkSQL訪問Hive遇到的問題及解決方法是什么

查看源碼

SparkSQL訪問Hive遇到的問題及解決方法是什么

解決方法

將$HIVE_HOME/lib下的spark-hive_2.11-2.4.2.jar與spark-hive-thriftserver_2.11-2.4.2.jar添加到project中

繼續(xù)報(bào)錯(cuò)

SparkSQL訪問Hive遇到的問題及解決方法是什么

查看源碼

SparkSQL訪問Hive遇到的問題及解決方法是什么

進(jìn)入ConfVars

SparkSQL訪問Hive遇到的問題及解決方法是什么

發(fā)現(xiàn)ConfVars中定義的變量并沒有METASTORE_CLIENT_SOCKET_LIFETIME,而HiveConf.java來(lái)自于hive-exec-1.1.0-cdh6.7.0.jar,即證明hive1.1.0中并沒有假如該參數(shù)。

解決方法

將hive依賴換為1.2.1

SparkSQL訪問Hive遇到的問題及解決方法是什么

繼續(xù)報(bào)錯(cuò)

SparkSQL訪問Hive遇到的問題及解決方法是什么

解決方法

這是因?yàn)檫h(yuǎn)端沒有啟動(dòng)hive造成的,啟動(dòng)hive時(shí)需要配置metastore。

關(guān)于SparkSQL訪問Hive遇到的問題及解決方法是什么就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到。

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI