spark怎么查看job history日志

這篇文章主要介紹“spark怎么查看job history日志”，在日常操作中，相信很多人在spark怎么查看job history日志問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”spark怎么查看job history日志”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

SPARK_HOME/conf 下:

spark-defaults.conf 增加如下內(nèi)容

spark.eventLog.enabled true 
spark.eventLog.dir hdfs://master:8020/var/log/spark 
spark.eventLog.compress true

spark-env.sh 增加如下內(nèi)容

export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master.et2:8020/var/log/spark”

啟動(dòng)start-history-server.sh

SPARK_HOME/conf 下: 執(zhí)行 ./start-history-server.sh

spark job history web: master:18080

這樣在spark任務(wù)運(yùn)行完成之后,就可以通過(guò)web頁(yè)面查看日志了

history server相關(guān)的配置參數(shù)描述

1. spark.history.updateInterval 
   　　默認(rèn)值：10 
   　　以秒為單位，更新日志相關(guān)信息的時(shí)間間隔

2. spark.history.retainedApplications 
   　　默認(rèn)值：50 
   　　在內(nèi)存中保存Application歷史記錄的個(gè)數(shù)，如果超過(guò)這個(gè)值，舊的應(yīng)用程序信息將被刪除，當(dāng)再次訪(fǎng)問(wèn)已被刪除的應(yīng)用信息時(shí)需要重新構(gòu)建頁(yè)面。

3. spark.history.ui.port 
   　　默認(rèn)值：18080 
   　　HistoryServer的web端口

4. spark.history.kerberos.enabled 
   　　默認(rèn)值：false 
   　　是否使用kerberos方式登錄訪(fǎng)問(wèn)HistoryServer，對(duì)于持久層位于安全集群的HDFS上是有用的，如果設(shè)置為true，就要配置下面的兩個(gè)屬性

5. spark.history.kerberos.principal 
   　　默認(rèn)值：用于HistoryServer的kerberos主體名稱(chēng)

6. spark.history.kerberos.keytab 
   　　用于HistoryServer的kerberos keytab文件位置

7. spark.history.ui.acls.enable 
   　　默認(rèn)值：false 
   　　授權(quán)用戶(hù)查看應(yīng)用程序信息的時(shí)候是否檢查acl。如果啟用，只有應(yīng)用程序所有者和spark.ui.view.acls指定的用戶(hù)可以查看應(yīng)用程序信息;否則，不做任何檢查

8. spark.eventLog.enabled 
   　　默認(rèn)值：false 
   　　是否記錄Spark事件，用于應(yīng)用程序在完成后重構(gòu)webUI

9. spark.eventLog.dir 
   　　默認(rèn)值：file:///tmp/spark-events 
   　　保存日志相關(guān)信息的路徑，可以是hdfs://開(kāi)頭的HDFS路徑，也可以是file://開(kāi)頭的本地路徑，都需要提前創(chuàng)建

10. spark.eventLog.compress 
    　　默認(rèn)值：false 
    　　是否壓縮記錄Spark事件，前提spark.eventLog.enabled為true，默認(rèn)使用的是snappy

以spark.history開(kāi)頭的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS，以spark.eventLog開(kāi)頭的配置在spark-defaults.conf 

到此，關(guān)于“spark怎么查看job history日志”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！