溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

SPARK standlone安裝配置

發(fā)布時間：2020-07-11 19:29:20 來源：網(wǎng)絡 閱讀：619 作者：誰伴我闖蕩 欄目：大數(shù)據(jù)

集群一共有3臺機器,集群使用hadoop用戶運行,3臺機器如下:

1DEV-HADOOP-01192.168.9.110
2DEV-HADOOP-02192.168.9.111
3DEV-HADOOP-03192.168.9.112


  1. 配置集群間hadoop用戶的無密碼登錄

  2. 配置每臺機器的/etc/hosts

  3. 安裝JDK1.8.0_60

  4. 安裝scala

    1. 下載scala-2.11.7.tar

    2. 把scala-2.11.7.tar解壓到/data/server目錄

    3. 設置環(huán)境變量 /etc/profile

      1. export SCALA_HOME=/usr/scala/scala-2.11.7

      2. 使配置生效 source /etc/profile

  5. 安裝spark

    1. 下載spark-1.5.0.tar

    2. 把spark-1.5.0.tar解壓到/data/server目錄

    3. 配置環(huán)境變量 /etc/profile

      1. export SPARK_HOME=/data/server/spark-1.5.0-bin-hadoop2.6

      2. export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

      3. 使配置生效 source /etc/profile

    4. 修改spark配置文件

      1. spark-env.sh配置文件

        1. export SCALA_HOME=/data/server/scala-2.11.7

        2. export JAVA_HOME=/usr/java/jdk1.8.0_60/

        3. export SPARK_MASTER_IP=DEV-HADOOP-01

        4. export SPARK_WORKER_MEMORY=2048m

      2. slaves配置文件

        1. DEV-HADOOP-02

        2. DEV-HADOOP-03

  6. 啟動spark集群

    1. sbin/start-all.sh

  7. 集群啟動驗證

    1. 執(zhí)行jps命令,master節(jié)點可以看到Master進程,slave可以看到Worker進程

  8. 查看Spark UI

    1. http://192.168.9.110:8080/

  9. 關閉集群

    1. sbin/stop-all.sh 

向AI問一下細節(jié)

免責聲明：本站發(fā)布的內容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權內容。

AI
助
手