如何遠(yuǎn)程提交Spark應(yīng)用到集群

本篇內(nèi)容主要講解“如何遠(yuǎn)程提交Spark應(yīng)用到集群”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“如何遠(yuǎn)程提交Spark應(yīng)用到集群”吧!

介紹如何在集群之外提交Spark任務(wù)到集群。

Spark目前支持三種集群，分別是Spark自實(shí)現(xiàn)的standalone集群、mesos集群和YARN集群。

使用standalone集群，提交應(yīng)用時使用–master參數(shù)指定集群地址，如 --master spark://masternode:7077

所以只需要有spark的客戶端，可以很方便的遠(yuǎn)程提交應(yīng)用到指定的集群。

使用mesos集群，同樣是指定–master參數(shù)為集群地址，如 --master mesos://master66:5050。這種形式和standalone集群很相似，也可以很方便的通過遠(yuǎn)程來提交應(yīng)用。

使用YARN集群，–master參數(shù)指定為YARN，但是要求預(yù)先設(shè)置HADOOP_CONF_DIR或者YARN_CONF_DIR的環(huán)境變量，這個環(huán)境變量指向hadoop相關(guān)配置的目錄。spark客戶端會讀取并解析其中的配置文件，并使用其中的配置信息來連接集群管理器。

如果要在遠(yuǎn)程提交應(yīng)用到Y(jié)arn集群，最簡單的方式就是從集群把這些配置下載下來，然后配置環(huán)境變量。

具體可以參考資料：

1. Remote Spark Jobs on YARN

2. Spark submit YARN mode HADOOP_CONF_DIR contents

3. How to submit a spark job on a remote master node in yarn client mode?

我想，或許我們可以找出spark需要的配置項(xiàng)，然后通過命令行的方式來指定，而不用通過配置目錄的環(huán)境變量，這樣我可以靈活的切換不同的集群，而我確實(shí)有這個需要。

這一個方向還有待探索。

在windows系統(tǒng)提交應(yīng)用的示例：

1

set HADOOP_CONF_DIR=E:LOCALCLUSTERSERVICE-HADOOP-a1e7b238d7f044d6b70185654c855c52 &

到此，相信大家對“如何遠(yuǎn)程提交Spark應(yīng)用到集群”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！