Master上的Spark怎么安裝

這篇文章主要講解了“Master上的Spark怎么安裝”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“Master上的Spark怎么安裝”吧！

安裝Spark

Master、Slave1、Slave2這三臺(tái)機(jī)器上均需要安裝Spark。

首先在Master上安裝Spark，具體步驟如下：

第一步：把Master上的Spark解壓：

我們直接解壓到當(dāng)前目錄下：

此時(shí)，我們創(chuàng)建Spark的目錄“/usr/local/spark”:

把解壓后的“spark-1.0.0-bin-hadoop1”復(fù)制到/usr/local/spark”下面：

第二步：配置環(huán)境變量

       進(jìn)入配置文件：

在配置文件中加入“SPARK_HOME”并把spark的bin目錄加到PATH中：

配置后保存退出，然后使配置生效：

第三步：配置Spark

進(jìn)入Spark的conf目錄：

在配置文件中加入“SPARK_HOME”并把spark的bin目錄加到PATH中：

把spark-env.sh.template 拷貝到spark-env.sh：

在配置文件中添加如下配置信息:

其中：

JAVA_HOME:指定的是Java的安裝目錄；

SCALA_HOME:指定的是Scala的安裝目錄；

SPARK_MASTER_IP:指定的是Spark集群的Master節(jié)點(diǎn)的IP地址；

SPARK_WORKER_MEMOERY:指定的Worker節(jié)點(diǎn)能夠最大分配給Excutors的內(nèi)存大小，因?yàn)槲覀兊娜_(tái)機(jī)器配置都是2g，為了最充分的使用內(nèi)存，這里設(shè)置為了2g；

HADOOP_CONF_DIR:指定的是我們?cè)瓉?lái)的Hadoop集群的配置文件的目錄；

保存退出。

接下來(lái)配置Spark的conf下的slaves文件，把Worker節(jié)點(diǎn)都添加進(jìn)去：

打開后文件的內(nèi)容：

我們需要把內(nèi)容修改為：

可以看出我們把三臺(tái)機(jī)器都設(shè)置為了Worker節(jié)點(diǎn)，也就是我們的主節(jié)點(diǎn)即是Master又是Worker節(jié)點(diǎn)。

保存退出。

感謝各位的閱讀，以上就是“Master上的Spark怎么安裝”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)Master上的Spark怎么安裝這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！