Kubernetes中如何部署Spark

Spark是新一代分布式內(nèi)存計(jì)算框架，Apache開源的頂級(jí)項(xiàng)目。相比于Hadoop Map-Reduce計(jì)算框架，Spark將中間計(jì)算結(jié)果保留在內(nèi)存中，速度提升10~100倍；同時(shí)它還提供更豐富的算子，采用彈性分布式數(shù)據(jù)集(RDD)實(shí)現(xiàn)迭代計(jì)算，更好地適用于數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)算法，極大提升開發(fā)效率。

構(gòu)建Spark容器

在Kubernetes上部署應(yīng)用的第一步，是創(chuàng)建容器。雖然有些項(xiàng)目會(huì)提供官方的容器鏡像，但截止到寫此文時(shí)，Apache Spark并沒有提供官方鏡像。因此我們將自己創(chuàng)建Spark容器，讓我們從Dockerfile開始。

FROM java:openjdk-8-jdk

ENV hadoop_ver 2.8.2
ENV spark_ver 2.4.4

RUN mkdir -p /opt && \cd /opt && \
curl http://archive.apache.org/dist/hadoop/common/hadoop-${hadoop_ver}/hadoop-${hadoop_ver}.tar.gz | \
   tar -zx && \
ln -s hadoop-${hadoop_ver} hadoop && \echo Hadoop ${hadoop_ver} installed in /opt

RUN mkdir -p /opt && \cd /opt && \
curl http://archive.apache.org/dist/spark/spark-${spark_ver}/spark-${spark_ver}-bin-without-hadoop.tgz | \
   tar -zx && \
ln -s spark-${spark_ver}-bin-without-hadoop spark && \echo Spark ${spark_ver} installed in /opt

ENV SPARK_HOME=/opt/spark
ENV PATH=$PATH:$SPARK_HOME/bin
ENV HADOOP_HOME=/opt/hadoop
ENV PATH=$PATH:$HADOOP_HOME/bin
ENV LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

RUN curl http://central.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.8.2/hadoop-aws-2.8.2.jar -o /opt/spark/jars/hadoop-aws-2.8.2.jar
RUN curl http://central.maven.org/maven2/org/apache/httpcomponents/httpclient/4.5.3/httpclient-4.5.3.jar -o /opt/spark/jars/httpclient-4.5.3.jar
RUN curl http://central.maven.org/maven2/joda-time/joda-time/2.9.9/joda-time-2.9.9.jar -o /opt/spark/jars/joda-time-2.9.9.jar
RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-core/1.11.712/aws-java-sdk-core-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-core-1.11.712.jar
RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk/1.11.712/aws-java-sdk-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-1.11.712.jar
RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-kms/1.11.712/aws-java-sdk-kms-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-kms-1.11.712.jar
RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-s3/1.11.712/aws-java-sdk-s3-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-s3-1.11.712.jar

ADD start-common.sh start-worker start-master /
ADD core-site.xml /opt/spark/conf/core-site.xml
ADD spark-defaults.conf /opt/spark/conf/spark-defaults.conf
ENV PATH $PATH:/opt/spark/bin

在這個(gè)Dockerfile中，我們首先從官方地址下載Apache Spark和Hadoop，然后從Maven獲取關(guān)聯(lián)的jar包。當(dāng)所有關(guān)聯(lián)的文件都已經(jīng)下載并解壓到一個(gè)特定的目錄后，我們將這些重要的配置文件添加到鏡像中。

在這個(gè)過程中，你可以很方便的添加自己環(huán)境特有的配置。

原本我們可以跳過以上步驟，直接使用一個(gè)預(yù)先構(gòu)建好的鏡像，但是通過解讀這些步驟可以讓我們的讀者看到Spark容器內(nèi)部的內(nèi)容，高級(jí)用戶可以據(jù)此修改來滿足他們特殊的需求。

以上示例中使用到的Dockerfile和其他關(guān)聯(lián)的配置文件，可以從這個(gè)GitHub倉(cāng)庫(kù)中獲取。如果要使用這個(gè)倉(cāng)庫(kù)中的內(nèi)容，請(qǐng)先使用以下命令將其克隆到本地：

git clone git@github.com:devshlabs/spark-kubernetes.git

現(xiàn)在，你可以根據(jù)需要在你的環(huán)境中進(jìn)行任何更改，然后構(gòu)建鏡像，并上傳到你使用的容器注冊(cè)表中。在本文的示例中，我使用Dockerhub作為容器注冊(cè)表，命令如下：

cd spark-kubernetes/spark-container
docker build . -t mydockerrepo/spark:2.4.4
docker push mydockerrepo/spark:2.4.4

記得將其中的mydockerrepo替換為你實(shí)際的注冊(cè)表名字。

在Kubernetes上部署Spark

至此，Spark容器鏡像已經(jīng)構(gòu)建好，并可以拉取使用了。讓我們使用此鏡像來部署Spark Master和Worker。第一步是創(chuàng)建Spark Master。我們將使用Kubernetes ReplicationController創(chuàng)建Spark Master。在本文的示例中，我僅用單實(shí)例創(chuàng)建Spark Master。而在有HA需求的生產(chǎn)環(huán)境中，你可能需要將副本數(shù)設(shè)置為3或者以上。

kind: ReplicationController
apiVersion: v1
metadata:
name: spark-master-controller
spec:
replicas: 1
selector:
component: spark-master
template:
metadata:
 labels:
   component: spark-master
spec:
 hostname: spark-master-hostname
 subdomain: spark-master-headless
 containers:
   - name: spark-master
     image: mydockerrepo/spark:2.4.4
     imagePullPolicy: Always
     command: ["/start-master"]
     ports:
       - containerPort: 7077
       - containerPort: 8080
     resources:
       requests:
         cpu: 100m

為了使Spark Worker節(jié)點(diǎn)可以發(fā)現(xiàn)Spark Master節(jié)點(diǎn)，我們還需要?jiǎng)?chuàng)建headless服務(wù)。 當(dāng)你從GitHub倉(cāng)庫(kù)完成克隆，并進(jìn)入spark-kubernetes目錄后，就可以啟動(dòng)Spark Master服務(wù)了，命令如下：

kubectl create -f spark-master-controller.yaml
kubectl create -f spark-master-service.yaml

現(xiàn)在，確保Master節(jié)點(diǎn)和所有的服務(wù)都正常運(yùn)行，然后就可以開始部署Worker節(jié)點(diǎn)了。Spark Worker的副本數(shù)設(shè)置為2，你可以根據(jù)需要修改。Worker啟動(dòng)命令如下： kubectl create -f spark-worker-controller.yaml 最后，通過以下命令確認(rèn)是否所有服務(wù)都正常運(yùn)行： kubectl get all 執(zhí)行以上命令，你應(yīng)該可以看到類似下面的內(nèi)容：

NAME                               READY     STATUS    RESTARTS   AGE
po/spark-master-controller-5rgz2   1/1       Running   0          9m
po/spark-worker-controller-0pts6   1/1       Running   0          9m
po/spark-worker-controller-cq6ng   1/1       Running   0          9m

NAME                         DESIRED   CURRENT   READY     AGE
rc/spark-master-controller   1         1         1         9m
rc/spark-worker-controller   2         2         2         9m

NAME               CLUSTER-IP      EXTERNAL-IP   PORT(S)             AGE
svc/spark-master   10.108.94.160           7077/TCP,8080/TCP   9m

向Spark集群提交Job

現(xiàn)在讓我們提交一個(gè)Job，看看是否執(zhí)行正常。不過在此之前，你需要一個(gè)有效的AWS S3賬戶，以及存有樣本數(shù)據(jù)的桶存在。我使用了Kaggle下載樣本數(shù)據(jù)，樣本數(shù)據(jù)可以從https://www.kaggle.com/datasna … s.csv獲取，獲取以后需要上傳到S3的桶里。假定桶名是s3-data-bucket，那么樣本數(shù)據(jù)文件則位于s3-data-bucket/data.csv。 數(shù)據(jù)準(zhǔn)備好以后，將其加載到一個(gè)Spark master pod中執(zhí)行。以Pod名為spark-master-controller-5rgz2為例，命令如下： kubectl exec -it spark-master-controller-v2hjb /bin/bash 如果你登錄進(jìn)入了Spark系統(tǒng)，可以運(yùn)行Spark Shell：

export SPARK_DIST_CLASSPATH=$(hadoop classpath)
spark-shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://192.168.132.147:4040
Spark context available as 'sc' (master = spark://spark-master:7077, app id = app-20170405152342-0000).
Spark session available as 'spark'.
Welcome to
 ____              __
/ __/__  ___ _____/ /__
_\ \/ _ \/ _ `/ __/  '_/
/___/ .__/\_,_/_/ /_/\_\   version 2.4.4
 /_/

Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_221)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

現(xiàn)在讓我們告訴Spark Master，S3存儲(chǔ)的詳細(xì)信息，在上文所示的Scale提示符中輸入以下配置：

sc.hadoopConfiguration.set("fs.s3a.endpoint", "https://s3.amazonaws.com")
sc.hadoopConfiguration.set("fs.s3a.access.key", "s3-access-key")
sc.hadoopConfiguration.set("fs.s3a.secret.key", "s3-secret-key")

現(xiàn)在，只需將以下內(nèi)容粘貼到Scala提示符中，以提交Spark Job(請(qǐng)記得修改S3相關(guān)字段)：

import org.apache.spark._
import org.apache.spark.rdd.RDD
import org.apache.spark.util.IntParam
import org.apache.spark.sql.SQLContext
import org.apache.spark.graphx._
import org.apache.spark.graphx.util.GraphGenerators
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.tree.DecisionTree
import org.apache.spark.mllib.tree.model.DecisionTreeModel
import org.apache.spark.mllib.util.MLUtils

val conf = new SparkConf().setAppName("YouTube")
val sqlContext = new SQLContext(sc)

import sqlContext.implicits._
import sqlContext._

val youtubeDF = spark.read.format("csv").option("sep", ",").option("inferSchema", "true").option("header", "true").load("s3a://s3-data-bucket/data.csv")

youtubeDF.registerTempTable("popular")

val fltCountsql = sqlContext.sql("select s.title,s.views from popular s")
fltCountsql.show()

最后，你可以使用kubectl patch command命令更新Spark部署。比如，你可以在負(fù)載較高時(shí)添加更多工作節(jié)點(diǎn)，然后在負(fù)載下降后刪除這些工作節(jié)點(diǎn)。