jvm-profiler中如何使用spark 內(nèi)存

本篇文章給大家分享的是有關(guān) jvm-profiler中如何使用spark 內(nèi)存，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說(shuō)，跟著小編一起來(lái)看看吧。

jvm-profiler

一般來(lái)說(shuō)監(jiān)控 spark 內(nèi)存有2種方式

1. 通過(guò) Spark ListenerBus 獲取 Executor 內(nèi)部的內(nèi)存使用情況 ，現(xiàn)在能獲取的相關(guān)信息還比較少，在 https://github.com/apache/spark/pull/21221 合進(jìn)來(lái)后就能采集到executor 內(nèi)存各個(gè)邏輯分區(qū)的使用情況。

2. 通過(guò) Spark Metrics 將 JVM 信息發(fā)送到指定的 sink，用戶也可以自定義 Sink 比如發(fā)送到 kafka/Redis。

Uber 最近開源了 jvm-profiler，采集分布式JVM應(yīng)用信息，可以用于 debug CPU/mem/io 或者方法調(diào)用的時(shí)間等。比如調(diào)整Spark JVM 內(nèi)存大小，監(jiān)控 HDFS Namenode RPC 延時(shí)，分析數(shù)據(jù)血緣關(guān)系。

應(yīng)用于 Spark 比較簡(jiǎn)單

每5S采集一次JVM信息，發(fā)送到 kafka profiler_CpuAndMemory topic

hdfs dfs -put jvm-profiler-0.0.9.jar hdfs://hdfs_url/lib/jvm-profiler-0.0.9.jar--conf spark.jars=hdfs://hdfs_url/lib/jvm-profiler-0.0.9.jar--conf spark.executor.extraJavaOptions=-javaagent:jvm-profiler-0.0.9.jar=reporter=com.uber.profiling.reporters.KafkaOutputReporter,metricInterval=5000,brokerList=brokerhost:9092,topicPrefix=profiler_

消費(fèi)后存入HDFS用于分析。

分析

hive 表結(jié)構(gòu)

對(duì)用戶自定義內(nèi)存的任務(wù)進(jìn)行分析

用戶自定義內(nèi)存調(diào)度任務(wù)，75%的任務(wù)內(nèi)存使用率低于80%，可以進(jìn)行優(yōu)化。

用戶自定義內(nèi)存調(diào)度任務(wù)

用戶自定義內(nèi)存開發(fā)任務(wù)，45%的任務(wù)內(nèi)存使用率低于20%，用戶存在不良使用習(xí)慣。

用戶自定義內(nèi)存開發(fā)任務(wù)

總結(jié)

通過(guò)采集 jvm  的最大使用值和設(shè)定值，可以解決下述問(wèn)題。

1. 內(nèi)存濫用

2. 監(jiān)控應(yīng)用內(nèi)存使用趨勢(shì)，防止數(shù)據(jù)增長(zhǎng)導(dǎo)致內(nèi)存不足

3. Spark Executor 默認(rèn)內(nèi)存設(shè)置不合理

根據(jù)應(yīng)用的使用預(yù)計(jì)內(nèi)存減少情況

• executor 默認(rèn)內(nèi)存減少10%，平均每個(gè)任務(wù)能釋放 60G 內(nèi)存

• 自定義內(nèi)存調(diào)度任務(wù)利用率提高到 70%，平均每個(gè)任務(wù)能釋放 450G 內(nèi)存

• 自定義內(nèi)存開發(fā)任務(wù)利用率提高到 70%，平均每個(gè)任務(wù)能釋放 550G 內(nèi)存

以上就是 jvm-profiler中如何使用spark 內(nèi)存，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過(guò)這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注億速云行業(yè)資訊頻道。