溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

spark安裝配置

發(fā)布時(shí)間：2020-06-21 11:03:09 來源：網(wǎng)絡(luò) 閱讀：385 作者：sherry20150511 欄目：大數(shù)據(jù)

在裝spark之前先裝Scala  Scala 的安裝在hadoop安裝配置中已經(jīng)介紹了


1、下載spark安裝包 下載地址如下

http://spark.apache.org/downloads.html

我選擇的是

 spark-1.4.1-bin-hadoop2.6.tgz  放在/root/software

解壓 

tar zxvf  spark-1.4.1-bin-hadoop2.6.tgz

2、配置系統(tǒng)環(huán)境變量

vim /etc/profile


export SPARK_HOME=/root/sherry/spark-1.4.1

export PATH=$SPARK_HOME/bin:$PATH


source /etc/profile

3、配置spark文件

1）[root@HBMS-DKXD-DEV sherry]# cd spark-1.4.1-bin-hadoop2.6/

   [root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# cd conf 

   [root@HBMS-DKXD-DEV conf]# vim spark-env.sh

   添加如下內(nèi)容


export SCALA_HOME=/root/sherry/scala-2.10.4

export JAVA_HOME=/usr/java/jdk1.7.0_45

export SPARK_WORKER_MEMORY=1g

export SPARK_MASTER_IP=10.118.46.22


2）配置slave 

我自己沒有配置

4、啟動(dòng)集群

[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# ./sbin/start-all.sh

關(guān)閉

[root@HBMS-DKXD-DEV spark-1.4.1-bin-hadoop2.6]# ./sbin/stop-all.sh

檢查是否安裝成功

jps



向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手