如何解析sbt編譯Spark App的依賴問題

本篇文章給大家分享的是有關(guān)如何解析sbt編譯Spark App的依賴問題，小編覺得挺實用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

背景簡介

Spark App（用Spark APIs編寫的）需要submit到Spark Cluster運(yùn)行，對于Scala編寫的代碼，提交之前要用sbt或者maven把以下內(nèi)容：

• 源代碼

• 依賴的jar包

全部打包成一個大的jar文件，這樣代碼就不會因為沒有依賴無法在集群中運(yùn)行。

問題

我司用Scala編寫Spark streaming應(yīng)用，實現(xiàn)讀取Kafka數(shù)據(jù)，處理后存儲到cassandra集群中。這里需要用到一個包spark-streaming-kafka，之前用的spark1.6.0的版本。sbt中的配置如下：

libraryDependencies ++= Seq(
  // Spark dependency
  "com.eaio.uuid" % "uuid" % "3.2",
  "org.apache.spark" %% "spark-core" % "1.6.0" % "provided",
  "org.apache.spark" %% "spark-sql" % "1.6.0" % "provided",
  "org.apache.spark" %% "spark-streaming" % "1.6.0" % "provided",
  "org.apache.spark" %% "spark-streaming-kafka" % "1.6.0",
  "com.datastax.spark" %% "spark-cassandra-connector" % "1.6.0-M2",
   // Third-party libraries
  "com.github.scopt" %% "scopt" % "3.4.0"
)

升級到Spark 2.0.0后需要更新軟件包版本，于是將sbt構(gòu)建配置中的依賴部分改為：

libraryDependencies ++= Seq(
  // Spark dependency
  "com.eaio.uuid" % "uuid" % "3.2",
  "org.apache.spark" %% "spark-core" % "2.0.0" % "provided",
  "org.apache.spark" %% "spark-sql" % "2.0.0" % "provided",
  "org.apache.spark" %% "spark-streaming" % "2.0.0" % "provided",
  "org.apache.spark" %% "spark-streaming-kafka" % "2.0.0",
  "com.datastax.spark" %% "spark-cassandra-connector" % "2.0.0-M2",
   // Third-party libraries
  "com.github.scopt" %% "scopt" % "3.4.0"
)

本以為這樣修改后重新構(gòu)建就沒問題了。但是我太天真了，構(gòu)建后報錯，提示：

[warn]     ::::::::::::::::::::::::::::::::::::::::::::::
[warn]     ::          UNRESOLVED DEPENDENCIES         ::
[warn]     ::::::::::::::::::::::::::::::::::::::::::::::
[warn]     :: org.apache.spark#spark-streaming-kafka_2.10;2.0.0: not found
[warn]     ::::::::::::::::::::::::::::::::::::::::::::::
[warn] 
[warn]     Note: Unresolved dependencies path:
[warn]         org.apache.spark:spark-streaming-kafka_2.10:2.0.0 (/home/linker/workspace/linkerwp/linkerStreaming/build.sbt#L12-23)
[warn]           +- Linker Networks Inc.:linker-streaming_2.10:0.0.1
sbt.ResolveException: unresolved dependency: org.apache.spark#spark-streaming-kafka_2.10;2.0.0: not found

說明這個包是不存在的，于是馬上到maven repo上去找。常見的Maven公共repo有：

• search.maven.org…用于搜索你的依賴包。

• https://mvnrepository.com/…maven倉庫。

進(jìn)入網(wǎng)址輸入spark-streaming-kafka搜索后數(shù)來好幾和選項，前面4個結(jié)果都是不支持Spark 2.0.0的，這讓我誤以為Spark 2.0.0還不支持Kafka，這個想法被前面幾個搜索結(jié)果誤導(dǎo)了。因為對于2.0.0的Spark，Kafka添加了具體的版本號！spark-streaming-kafka→spark-streaming-kafka-0-8就可以找到了（實際上這個版本也在maven repo的搜索結(jié)果，因為靠后我沒有去看）??！

• 對于Java/Scala的編譯問題，我曾經(jīng)特別抗拒，因為maven和sbt的配置文件很冗雜，沒有Python的簡潔明了。Python里20行的依賴文件在maven/sbt里至少200行，而且只要有一個地方?jīng)]寫正確就無法正確編譯。

• 現(xiàn)在發(fā)現(xiàn)要想正確編譯，保證源代碼沒問題的情況下，就需要指定正確的依賴包和格式。這個需要到maven的倉庫上去搜索，確認(rèn)無誤后再添加到配置文件中。

• 要學(xué)會發(fā)散、拓展思考。當(dāng)看到sbt編譯失敗的時候就應(yīng)該根據(jù)報錯信息推測出問題的原因：“依賴包版本不正確”，然后把版本指定正確就可以了。

以上就是如何解析sbt編譯Spark App的依賴問題，小編相信有部分知識點(diǎn)可能是我們?nèi)粘９ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注億速云行業(yè)資訊頻道。