Linux系統(tǒng)如何安裝Spark

小編給大家分享一下Linux系統(tǒng)如何安裝Spark，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

Spark 是專(zhuān)為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。

Spark簡(jiǎn)介：

• 用最簡(jiǎn)單的語(yǔ)言去描述Spark的話，聽(tīng)起來(lái)或許有點(diǎn)百度百科：Spark是一個(gè)通用的分布式數(shù)據(jù)處理引擎。

• 上面這句話聽(tīng)起來(lái)或許很抽象，我們一個(gè)詞一個(gè)詞的來(lái)解釋通用：通用指的是Spark可以做很多事情。剛剛我們提到過(guò)的，包括機(jī)器學(xué)習(xí)，數(shù)據(jù)流傳輸，交互分析，ETL，批處理，圖計(jì)算等等等等都是Spark可以做到的。甚至可以說(shuō)，你需要用數(shù)據(jù)實(shí)現(xiàn)的任何事情，你都可以用Spark試試看。分布式：指的是Spark處理數(shù)據(jù)的能力是建立在許多機(jī)器上的，是可以和分布式的存儲(chǔ)系統(tǒng)對(duì)接的，是可以做橫向擴(kuò)展的（簡(jiǎn)單點(diǎn)說(shuō)就是電腦越多，能力越大）引擎：所謂引擎，說(shuō)的就是Spark自己不會(huì)存儲(chǔ)數(shù)據(jù)，它就像實(shí)體的機(jī)械引擎一樣，會(huì)將燃料（對(duì)Spark來(lái)說(shuō)是數(shù)據(jù)）轉(zhuǎn)化成使用者需要的那種形式——例如驅(qū)動(dòng)汽車(chē)，再例如得到一個(gè)需要的目標(biāo)結(jié)論。但無(wú)論如何，巧婦難為無(wú)米之炊，沒(méi)數(shù)據(jù)是萬(wàn)萬(wàn)不行的。

Linux系統(tǒng)安裝Spark具體步驟：

安裝約定

軟件上傳目錄：/opt/soft

軟件安裝目錄：/opt

環(huán)境變量配置文件：/etc/profile.d/hadoop-etc.sh

環(huán)境依賴：需安裝zookeeper、Scala

1) 解壓hadoop安裝軟件

tar -zxvf /opt/soft/spark-2.0.2-bin-hadoop2.7.tgz -C /opt/

2) 重命名

mv /opt/spark-2.0.2-bin-hadoop2.7 /opt/spark

3) 復(fù)制并重命名配置文件

cd /opt/spark/conf

cp spark-env.sh.template spark-env.sh

4) 修改spark-env.sh配置文件

vi spark-env.sh

export JAVA_HOME=/opt/jdk

export SCALA_HOME=/opt/scala

export SPARK_MASTER_IP=lky01

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_MEMORY=1g

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

5) 復(fù)制并重命名slaves.template文件

cp slaves.template slaves

6) 修改slaves配置文件

添加兩行記錄(注銷(xiāo)掉localhost)

lky02

lky03

7)將mysql驅(qū)動(dòng)架包mysql-connector-java-5.1.39-bin.jar復(fù)制到/opt/spark/jars目錄下

8)拷貝spark至其他機(jī)器

scp -r /opt/spark root@lky02:/opt

scp -r /opt/spark root@lky03:/opt

9)拷貝環(huán)境變量至其他機(jī)器

scp /etc/profile.d/hadoop-etc.sh root@lxq2:/etc/profile.d/

scp /etc/profile.d/hadoop-etc.sh root@lxq03:/etc/profile.d/

10)讓配置生效： source /etc/profile.d/hadoop-etc.sh

修改啟動(dòng)項(xiàng)

為了避免和hadoop中的start/stop-all.sh腳本發(fā)生沖突，將spark/sbin/start/stop-all.sh重命名

cd /opt/spark/sbin/

mv start-all.sh start-spark-all.sh

mv stop-all.sh stop-spark-all.sh

11)啟動(dòng)spark

sbin/start-spark-all.sh

12)訪問(wèn)驗(yàn)證

訪問(wèn)spark web服務(wù)：http://ip:8080

以上是“Linux系統(tǒng)如何安裝Spark”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！