如何使用 IntelliJ IDEA導(dǎo)入Spark 最新源碼及編譯Spark源代碼

如何使用 IntelliJ IDEA導(dǎo)入Spark 最新源碼及編譯Spark源代碼，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

準(zhǔn)備工作

首先你的系統(tǒng)中需要安裝了 JDK 1.6+，并且安裝了 Scala。之后下載最新版的 IntelliJ IDEA 后，首先安裝（第一次打開會推薦你安裝）Scala 插件，相關(guān)方法就不多說了。至此，你的系統(tǒng)中應(yīng)該可以在命令行中運行 Scala。我的系統(tǒng)環(huán)境如下：

1. Mac OS X（10.9.5）

2. JDK 1.7.71

3. Scala 2.10.4

4. IntelliJ IDEA 14

另外，最后還是建議大家開始先使用 pre-built 的 Spark，對 Spark 的運行、使用方法有所了解，編寫了一些 Spark 應(yīng)用程序后再展開源代碼的閱讀，并嘗試修改源碼，進行手動編譯。

從 Github 導(dǎo)入 Spark 工程

打開IntelliJ IDEA 后，在菜單欄中選擇 VCS→Check out from Version Control→Git，之后在 Git Repository URL 中填入 Spark 項目的地址，并指定好本地路徑，如下圖所示。

點擊該窗口中的的 Clone 后，開始從 Github 中 clone 該項目，該過程試你網(wǎng)速而定，大概需要3-10分鐘。

編譯 Spark

當(dāng) clone 完畢后，IntelliJ IDEA 會自動提示你該項目有對應(yīng)的 pom.xml 文件，是否打開。這里直接選擇 Open 該 pom.xml 文件，然后系統(tǒng)會自動解析項目的相關(guān)依賴，該步驟也會因你的網(wǎng)絡(luò)和系統(tǒng)相關(guān)環(huán)境，所需時間不同。

該步驟完成之后，請手動編輯 Spark 根目錄下的 pom.xml 文件，找到其中指定 java 版本的那一行(java.version)，根據(jù)你的系統(tǒng)環(huán)境，如果使用的是 jdk1.7 ，那么或許需要你將其值改成1.7（默認(rèn)是1.6）。

之后打開 shell 終端，在命令行中進入剛才導(dǎo)入的 spark 項目根目錄，執(zhí)行

sbt/sbt assembly

該編譯命令將全部采用默認(rèn)的配置來編譯 Spark，若想指定相關(guān)組件的版本，可以查看 Spark 官網(wǎng)中的 Build-Spark（http://spark.apache.org/docs/latest/building-spark.html），查看所有常用的編譯選項。該過程目前不需要 VPN 即可完成，為了預(yù)估編譯所需的時間，你可以在新開一個 shell 終端，不斷查看 spark 項目目錄的大小，我最終采用默認(rèn)配置，編譯成功后的 spark 目錄大小為2.0G。

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進一步的了解或閱讀更多相關(guān)文章，請關(guān)注億速云行業(yè)資訊頻道，感謝您對億速云的支持。