您好,登錄后才能下訂單哦!
對(duì)于Spark而言,如果大家只是想摸一下、熟悉熟悉而已,可以搭建單機(jī)的Spark,大致步驟如下(我使用VMWare下的Ubuntu 14.04,暫不考慮安全問題,在root下運(yùn)行):
1、安裝Ubuntu 14.04,注意裝好后需要禁用防火墻(ufw disable),安裝SSH 服務(wù)器,啟用root用戶
2、下載安裝JDK-1.8、scala 2.11.8(需要和spark的jar版本配合下,這個(gè)其實(shí)不是很必要,練習(xí)用)、spark、maven(build用,這里的scala版本需要和spark的一致,否則可能出現(xiàn)ClassNotDef異常)
3、在.profile中配置環(huán)境變量,如:
export SPARK_HOME=/root/spark-2.2.0-bin-hadoop2.7
export SPARK_LOCAL_HOST=192.168.162.132
export SPARK_MASTER_HOST=192.168.162.132
4、啟動(dòng)spark:
$SPARK_HOME/sbin/start-master.sh
# 在單機(jī)情況下也必須啟動(dòng),否則沒有worker
$SPARK_HOME/sbin/start-slave.sh
5、使用maven編譯一個(gè)示例程序(當(dāng)然sbt也可以)
6、提交你的測(cè)試程序,如下:
$SPARK_HOME/spark-submit --class "類名" --master spark://IP:Port 打包文件名
另外,注意的一點(diǎn)是需要在/etc/hosts和/etc/hostname中正確配置主機(jī)名,否則可能出現(xiàn)IOException
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。