運行Spark例子程序是怎樣實現(xiàn)的

運行Spark例子程序是怎樣實現(xiàn)的，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

一、安裝和配置

下載并解壓Spark到指定目錄，如果沒有安裝JDK、Scala，需要先下載JDK、Scala到指定目錄，并設(shè)置SPKARK_HOME(JAVA_HOME、SCALA_HOME).

二、啟動Spark或Spark集群

如果只是在單節(jié)點上運行Spark，無需啟動Spark，直接按『三、運行例子程序』運行即可。 如若需要在集群上運行Spark例子程序，需要先啟動Spark集群。將已經(jīng)可以互相無密碼登陸的從節(jié)點名(或IP地址)加入到主節(jié)點的conf/slaves文件中，再將配置好的主節(jié)點的Spark的整個目錄拷貝到其他所有從節(jié)點。在直接運行啟動集群腳本:

./start-all.sh
# 關(guān)閉集群    
./stop-all.sh

二、運行例子程序

1. 在單節(jié)點上運行

在單個節(jié)點上運行例子無需啟動集群：

./bin/run-example SparkPi 10
./bin/run-example graphx.LiveJournalPageRank follower.txt --numEPart=2
# 運行Python的例子程序
./bin/spark-submit examples/src/main/python/pi.py 10
./bin/spark-submit examples/src/main/python/PageRank.py follower.txt 10

2. 提交到集群上運行

./bin/spark-submit --master spark://A281:7077 --class org.apache.spark.examples.graphx.LiveJournalPageRank lib/spark-examples-1.6.0-hadoop2.6.0.jar followers.txt --numEPart=2

關(guān)于運行Spark例子程序是怎樣實現(xiàn)的問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識。