Mac上搭建spark開發(fā)環(huán)境

本文將介紹在Mac os上搭建Spark開發(fā)環(huán)境。

在安裝spark環(huán)境之前，需要確保配置相應(yīng)的java環(huán)境，jdk或者jre的版本需要在1.8.0版本以上。

(1)首先下載開發(fā)IDE，目前比較流行的IDE是IntelliJ IDEA,可以在官網(wǎng)下載使用，下載地址：https://www.jetbrains.com/idea/。

(2)Spark環(huán)境搭建：
mac上啟動(dòng)終端，使用brew install scala命令(brew是一個(gè)軟件包管理工具,類似于centos下的yum或者ubuntu下的apt-get)，進(jìn)行Scala的安裝下載，如下：

到此scala的環(huán)境已經(jīng)安裝成功，現(xiàn)在我們從spark的官網(wǎng)下載spark相關(guān)環(huán)境，網(wǎng)址為：http://spark.apache.org/

下載完spark，進(jìn)入到下載的spark包的文件夾下，執(zhí)行tar -zxvf spark-2.3.1-bin-hadoop2.7.tar。

安裝完scala以及spark后，進(jìn)行相關(guān)環(huán)境變量的配置，執(zhí)行vim /etc/profile命令，在其后追加如下環(huán)境變量：

export SCALA_HOME=/usr/local/Cellar/scala/2.12.4
export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=/Users/mengxin/Downloads/spark-2.3.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

(3)進(jìn)行本機(jī)ssh配置，主目錄執(zhí)行以下命令：

ssh-keygen -t rsa -P ""

cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

執(zhí)行過程如下：

（4）檢測(cè)下spark是否能啟動(dòng)

進(jìn)入spark解壓包下的sbin目錄，執(zhí)行./start-all.sh,如下圖

可以在local.out文件下查看相關(guān)的啟動(dòng)情況。

spark啟動(dòng)后，所啟動(dòng)的master以及worker進(jìn)程其實(shí)就是就是jvm進(jìn)程，我們可以用jps命令看一下。

再用spark shell測(cè)試下，進(jìn)入到spark安裝包的bin目錄下，如果出現(xiàn)如下界面，則說明spark安裝環(huán)境已經(jīng)大功告成了。