您好,登錄后才能下訂單哦!
這篇文章給大家介紹SparkSQL訪問Hive遇到的問題及解決方法是什么,內(nèi)容非常詳細(xì),感興趣的小伙伴們可以參考借鑒,希望對(duì)大家能有所幫助。
需要先將hadoop的core-site.xml,hive的hive-site.xml拷貝到project中
測(cè)試代碼
報(bào)錯(cuò)
查看源碼
解決方法
將$HIVE_HOME/lib下的spark-hive_2.11-2.4.2.jar與spark-hive-thriftserver_2.11-2.4.2.jar添加到project中
繼續(xù)報(bào)錯(cuò)
查看源碼
進(jìn)入ConfVars
發(fā)現(xiàn)ConfVars中定義的變量并沒有METASTORE_CLIENT_SOCKET_LIFETIME,而HiveConf.java來(lái)自于hive-exec-1.1.0-cdh6.7.0.jar,即證明hive1.1.0中并沒有假如該參數(shù)。
解決方法
將hive依賴換為1.2.1
繼續(xù)報(bào)錯(cuò)
解決方法
這是因?yàn)檫h(yuǎn)端沒有啟動(dòng)hive造成的,啟動(dòng)hive時(shí)需要配置metastore。
關(guān)于SparkSQL訪問Hive遇到的問題及解決方法是什么就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。