Spark集群需要的軟件怎么安裝

這篇文章主要講解了“Spark集群需要的軟件怎么安裝”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Spark集群需要的軟件怎么安裝”吧！

Spark集群需要的軟件

 在1、2講的從零起步構(gòu)建好的Hadoop集群的基礎(chǔ)上構(gòu)建Spark集群，我們這里采用2014年5月30日發(fā)布的Spark 1.0.0版本，也就是Spark的最新版本，要想基于Spark 1.0.0構(gòu)建Spark集群，需要的軟件如下：

1.Spark 1.0.0，筆者這里使用的是spark-1.0.0-bin-hadoop1.tgz

如下圖所示：

筆者是保存在了Master節(jié)點(diǎn)如下圖所示的位置：

2.下載和Spark 1.0.0對應(yīng)的Scala版本，官方要求的是Scala必須為Scala 2.10.x：

 筆者下載的是“Scala 2.10.4”，具體官方下載地址為http://www.scala-lang.org/download/2.10.4.html 下載后在Master節(jié)點(diǎn)上保存為：

安裝每個軟件

 安裝Scala

1. 打開終端，建立新目錄“/usr/lib/scala”，如下圖所示：

 2.解壓Scala文件，如下圖所示：

把解壓好的Scala移到剛剛創(chuàng)建的“/usr/lib/scala”中，如下圖所示

3.修改環(huán)境變量:

進(jìn)入如下圖所示的配置文件中：

按下“i”進(jìn)入INSERT模式，把Scala的環(huán)境編寫信息加入其中，如下圖所示：

從配置文件中可以看出，我們設(shè)置了“SCALA_HOME”并把Scala的bin目錄設(shè)置到了PATH中。

按下“esc“鍵回到正常模式，保存并退出配置文件：

執(zhí)行以下命令是配置文件的修改生效：

4.在終端中顯示剛剛安裝的Scala版本，如下圖所示

發(fā)現(xiàn)版本是”2.10.4”，這正是我們期望的。

當(dāng)我們輸入“scala”這個命令的的時候，可以直接進(jìn)入Scala的命令行交互界面：

此時我們輸入“9*9”這個表達(dá)式：

此時我們發(fā)現(xiàn)Scala正確的幫我們計算出了結(jié)果 。

此時我們完成了Master上Scala的安裝；

由于我們的 Spark要運(yùn)行在Master、Slave1、Slave2三臺機(jī)器上，此時我們需要在Slave1和Slave2上安裝同樣的Scala，使用scp命令把Scala安裝目錄和“~/.bashrc”都復(fù)制到Slave1和Slave2相同的目錄之之下，當(dāng)然，你也可以按照Master節(jié)點(diǎn)的方式手動在Slave1和Slave2上安裝。

在Slave1上Scala安裝好后的測試效果如下：

在Slave2上Scala安裝好后的測試效果如下：

至此，我們在Master、Slave1、Slave2這三臺機(jī)器上成功部署Scala。

感謝各位的閱讀，以上就是“Spark集群需要的軟件怎么安裝”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對Spark集群需要的軟件怎么安裝這一問題有了更深刻的體會，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識點(diǎn)的文章，歡迎關(guān)注！