如何搭建spark集群

這篇文章主要介紹“如何搭建spark集群 ”，在日常操作中，相信很多人在如何搭建spark集群 問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”如何搭建spark集群 ”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

配置linux

安裝epel

CentOS6.5下添加epel源
時間:2014-09-20 01:46來源:cnblogs 作者:天生我材有P用 舉報 點擊:22665次
0.安裝yum優(yōu)先級插件

yum install yum-priorities
1.epel簡介: https://fedoraproject.org/wiki/EPEL/zh-cn

rpm -Uvh http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm
rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm
以上URL請按實際情況修改

2.查看是否安裝成功

rpm -q epel-release
 3.導入key：

rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
4.修改/etc/yum.repos.d/epel.repo文件

在[epel]最后添加一條屬性 priority=11

vi /etc/yum.repos.d/epel.repo
意思是yum先去官方源查，官方沒有再去epel的源找

5.重建緩存

yum makecache

配置環(huán)境

scp root@10.10.11.191:/root/Download/jdk.tar.gz jdk.tar.gz
scp root@10.10.11.191:/root/Download/apache-maven-3.3.9-bin.tar.gz apache-maven-3.3.9-bin.tar.gz
scp root@10.10.11.191:/root/Download/spark-2.0.1-SNAPSHOT-bin-nevermore-spark.tgz spark-2.0.1-SNAPSHOT-bin-nevermore-spark.tgz




vi /etc/profile

+++
JAVA_HOME=/opt/env/jdk1.7.0_79
MAVEN_HOME=/opt/env/maven-3.3.9
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH
export JAVA_HOME
export CLASSPATH
:wq

source /etc/profile


vi /etc/hosts
10.10.11.191    spark.env
:wq

ssh-keygen -t rsa
touch /root/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys


./sbin/start-slave.sh spark://spark.env:7077

到此，關于“如何搭建spark集群 ”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關知識，請繼續(xù)關注億速云網站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>