如何編譯Spark 1.5.2

這篇文章將為大家詳細(xì)講解有關(guān)如何編譯Spark 1.5.2，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

在編譯spark 1.5.2 時(shí)，由于maven版本過低導(dǎo)致出錯(cuò)（貌似使用oschina國內(nèi)鏡像也出現(xiàn)了錯(cuò)誤，所以沒采用國內(nèi)鏡像，這樣就慢一些，但是沒關(guān)系，能成功就行）

升級maven到最新的版本：

                             （1）卸載之前的maven, sudo apt-get autoremove maven

                             （2）下載最新的maven, apache-maven-3.3.9-bin.tar.gz

                             （3）sudo tar -zxvf  apache-maven-3.3.9-bin.tar.gz -C /usr

                             （4）sudo gedit  ~/.bashrc

                             （5） # MAVEN

                                        export MAVEN_HOME=/usr/apache-maven-3.3.9

                                        export PATH=${MAVEN_HOME}/bin:$PATH

                            （6）source ~/.bashrc

  設(shè)置Maven內(nèi)存， 

export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=1g -XX:ReservedCodeCacheSize=512m"

                   （這里得設(shè)置 MaxPermSize=1g ，不然會(huì)出現(xiàn) OutOfMemoryError）

 開始編譯： mvn -Pyarn -Dyarn.version=2.6.0 -Dhadoop.version=2.6.0 -DskipTests clean -U package

-vmargs -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M

-Xms    JVM初始分配的堆內(nèi)存大小，默認(rèn)是物理內(nèi)存的1/64。
-Xmx   JVM最大分配的堆內(nèi)存大小，默認(rèn)是物理內(nèi)存的1/4。
-XX:PermSize  JVM初始分配的非堆內(nèi)存大小，默認(rèn)是物理內(nèi)存的1/64。
-XX:MaxPermSize  JVM最大分配的非堆內(nèi)存大小，默認(rèn)是物理內(nèi)存的1/4。
-XX:NewSize  JVM初始分配的新生代堆區(qū)域內(nèi)存大小。
-XX:MaxNewSize  JVM最大分配的新生代堆區(qū)域內(nèi)存大小。
-XX:ReservedCodeCacheSize  編譯代碼時(shí)的緩存空間大小。

關(guān)于“如何編譯Spark 1.5.2”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯(cuò)，請把它分享出去讓更多的人看到。