溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

SPARK啟動(dòng)歷史任務(wù)查看

發(fā)布時(shí)間：2020-08-02 00:42:22 來源：網(wǎng)絡(luò) 閱讀：5613 作者：誰伴我闖蕩 欄目：大數(shù)據(jù)

SPARK歷史任務(wù)查看需要一下配置:


  1. 修改spark-defaults.conf配置文件

    1.   spark.eventLog.enabled             true

    2.   spark.eventLog.dir                       hdfs://192.168.9.110:9000/eventLogs

    3.   spark.eventLog.compress          true

  2. 修改spark-env.sh配置文件

    1. export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs"

  3. 以上兩個(gè)配置中spark.eventLog.dir和SPARK_HISTORY_OPTS都用到了hdfs來存儲(chǔ)歷史任務(wù)的日志信息.所以需要提前在hdfs中新建這兩個(gè)目錄 hdfs://192.168.9.110:9000/eventLogs和hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs

    1. 進(jìn)入hadoop的bin目錄 命令 :  cd /data/server/hadoop-2.6.0/bin

    2. 新建hdfs://192.168.9.110:9000/eventLogs命令 : ./hadoop dfs -mkdir /eventLogs

    3. 新建hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs命令 : ./hadoop dfs -mkdir /sparkHistoryLogs

  4. 重啟spark集群

  5. 啟動(dòng)歷史任務(wù)進(jìn)程

    1. sbin/start-history-server.sh

  6. 歷史任務(wù)進(jìn)程啟動(dòng)驗(yàn)證

    1. 執(zhí)行jps命令,出現(xiàn)HistoryServer進(jìn)程

  7. 查看歷史任務(wù)Web UI

    1. http://192.168.9.110:18080/

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手