spark2.0配合hive0.13.1使用問題的處理方法

本篇文章為大家展示了spark2.0配合hive0.13.1使用問題的處理方法，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

功能，spark2.0配合hive0.13.1使用，并保存數(shù)據(jù)到hive

錯(cuò)誤： Invalid method name: 'alter_table_with_cascade'

解決1：

           將hive-site.xml中的 hive.metastore.uris配置項(xiàng)置空。使用jdo相關(guān)配置。此舉是將spark提取hive元信息的方式修改為直接從數(shù)據(jù)庫提取。雖然可以解決，但是客戶方不給該數(shù)據(jù)。

解決2:

      配置spark-defaults.conf,增加spark.sql.hive.metastore.jars和spark.sql.hive.metastore.version項(xiàng)。

  配置完成后 Invalid method name: 'alter_table_with_cascade'異常消失了， 

結(jié)果運(yùn)行又出現(xiàn)了NoSuchMethodException:org.apche.hadoop.,hive.ql.metada.Hive. loadTable(org.apche.hadoop.fs.Path,java.lang.String,boolean,boolean)的錯(cuò)誤。

找到該類Hive.java，里面的loadTable方法竟然需要5個(gè)參數(shù)。果然沒有4個(gè)參數(shù)的loadTable 方法。只能參照Shim_v0_14修改 Spark中的HiveShim.scala中的Shim_v0_13類，增加

loadTable和loadPartition方法。重新編譯，執(zhí)行。

竟然好了?？磥韘park中的bug也挺多，或者我的用法不對(duì)？

解決問題中有一個(gè)很奇怪的現(xiàn)象：在yarn-client 模式下竟然未出現(xiàn) loadTable方法未找到的問題

上述內(nèi)容就是spark2.0配合hive0.13.1使用問題的處理方法，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注億速云行業(yè)資訊頻道。