Spark如何安裝、配置及基礎(chǔ)使用

小編給大家分享一下Spark如何安裝、配置及基礎(chǔ)使用，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

7. Spark

此主題介紹Spark的安裝、配置及基礎(chǔ)使用。

Spark基本信息

官網(wǎng)：http://spark.apache.org/
官方教程：http://spark.apache.org/docs/latest/programming-guide.html

7.1. 環(huán)境準(zhǔn)備

# 切換到工作空間
cd /opt/workspaces
# 創(chuàng)建Spark數(shù)據(jù)目錄
mkdir data/spark
# 創(chuàng)建Spark日志目錄
mkdir logs/spark

7.2. 安裝

wget http://mirrors.hust.edu.cn/apache/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz
tar -zxf spark-1.6.1-bin-hadoop2.6.tgz
rm -rf spark-1.6.1-bin-hadoop2.6.tgz
mv spark-1.6.1-bin-hadoop2.6 ./frameworks/spark

7.3. 配置(偽分布式)

vi ./frameworks/spark/conf/spark-env.sh

export SPARK_MASTER_IP=bd
export SPARK_MASTER_PORT=7077
export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
# 指定Spark數(shù)據(jù)目錄
export SPARK_LOCAL_DIRS=/opt/workspaces/data/spark/
# 指定Spark日志目錄
export SPARK_LOG_DIR=/opt/workspaces/logs/spark/
# 指定JDK目錄
export JAVA_HOME=/opt/env/java
# 指定Scala目錄
export SCALA_HOME=/opt/env/scala

7.4. 啟動與停止

./frameworks/spark/sbin/start-all.sh

7.5. 測試

# 執(zhí)行圓周率計算示例
./frameworks/spark/bin/run-example  org.apache.spark.examples.SparkPi

./frameworks/spark/bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://bd:6066\
  --deploy-mode cluster \
  --driver-memory 512M \
  --executor-memory 256M \  #如果運行出錯請改大些
  ./frameworks/spark/lib/spark-examples-1.6.1-hadoop2.6.0.jar \
  1000

7.6. Word Count

Word Count

./frameworks/spark/bin/spark-shell

// 基礎(chǔ)版
val textFile = sc.textFile("./frameworks/spark/README.md")
val words = textFile.flatMap(line => line.split(" "))
val exchangeVal = words.map(word => (word,1))
val count = exchangeVal.reduceByKey((a,b) => a + b)
count.collect

// 優(yōu)化版
sc.textFile("./frameworks/spark/README.md").flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _).collect

// 帶排序
sc.textFile("./frameworks/spark/README.md").flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _).map(_.swap).sortByKey(false).map(_.swap).collect

// 最終版
val wordR="""\w+""".r
sc.textFile("./frameworks/spark/README.md").flatMap(_.split(" ")).filter(wordR.pattern.matcher(_).matches).map((_,1)).reduceByKey(_ + _).map(_.swap).sortByKey(false).map(_.swap).saveAsTextFile("hdfs://bd:9000/wordcount")

7.7. 參數(shù)說明

• 在哪配置：

Spark properties （Spark屬性）在應(yīng)用程序中通過SparkConf 對象設(shè)置，或通過Java系統(tǒng)屬性設(shè)置。
Environment variables （環(huán)境變量）指定各節(jié)點的設(shè)置，如IP地址、端口，配置文件在conf/spark-env.sh中。
Logging （日志）可以通過log4j.properties配置日志。

• Spark properties

在代碼中指定配置

val conf = new SparkConf()
             // 指定使用2個本地線程來運行，本地模式下，我們可以使用n個線程（n >= 1），但在像Spark Streaming這樣的場景下，我們可能需要多個線程
             .setMaster("local[2]")
             .setAppName("CountingSheep")
val sc = new SparkContext(conf)

在腳本中指定配置

./bin/spark-submit --name "My app" --master local[4] --conf spark.eventLog.enabled=false
  --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" myApp.jar

Table 1. 常用配置

• Environment variables

環(huán)境變量在${SPARK_HOME}/conf/spark-env.sh腳本中設(shè)置

Table 2. 常用配置

• Logging

日志在${SPARK_HOME}/conf/log4j.properties中設(shè)置

• Hadoop集群配置

使用HDFS時需要從Hadoop中復(fù)制hdfs-site.xml、 core-site.xml到Spark的classpath中

7.8. 資源調(diào)度

standalone目前只支持簡單的先進先出（FIFO）調(diào)度器。這個調(diào)度器可以支持多用戶，你可以控制每個應(yīng)用所使用的最大資源。默認(rèn)情況下，Spark應(yīng)用會申請集群中所有的CPU。

在代碼中限制資源

val conf = new SparkConf()
             .setMaster(...)
             .setAppName(...)
             .set("spark.cores.max", "10")
val sc = new SparkContext(conf)

在配置文件     spark-env.sh中限制資源

export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=<value>"

7.9. 性能調(diào)優(yōu)

7.10. 硬件配置

每個節(jié)點：
* 4-8塊磁盤
* 8G以上內(nèi)存
* 千兆網(wǎng)卡
* 8-16核CPU

至少3個節(jié)點

7.11. 整合Hive

• 在spark-env.sh中添加配置項

  # Hive目錄
  export HIVE_HOME=$HIVE_HOME

       

• 復(fù)制Hive的幾個配置文件

  cp ./frameworks/hive/conf/hive-site.xml ./frameworks/spark/conf
  cp ./frameworks/hive/conf/hive-log4j.properties ./frameworks/spark/conf

       

• 啟動thriftserver，用于對外提供JDBC服務(wù)

  ./frameworks/spark/sbin/start-thriftserver.sh

       

• 測試連接

  ./frameworks/spark/bin/beeline
  !connect jdbc:hive2://bd:10000
  show tables;

以上是“Spark如何安裝、配置及基礎(chǔ)使用”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！