Apache Hudi如何集成Prometheus/Pushgateway進(jìn)行監(jiān)控

這篇文章主要介紹Apache Hudi如何集成Prometheus/Pushgateway進(jìn)行監(jiān)控，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

1. 可用性

在Hudi最新master分支，prometheus監(jiān)控Hudi應(yīng)用指標(biāo)，該功能將在即將發(fā)布的0.6.0 版本中可用。

2. 簡介

prometheus是一個(gè)流行的監(jiān)控服務(wù)。在即將發(fā)布的Apache Hudi 0.6.0版本中，除已有的報(bào)告者類型（Graphite、JMX、DATADOG、用戶自定義指標(biāo)）之外，我們將引入通過pushgateway和httpserver方式報(bào)告Hudi指標(biāo)的功能。

3. 配置

3.1  pushgateway

類似于其他支持的報(bào)告者，啟用pushgateway報(bào)告者需要配置以下屬性。

hoodie.metrics.on=true
hoodie.metrics.reporter.type=PROMETHEUS_PUSHGATEWAY

下面的屬性用來配置pushgateway 的地址和端口號(hào)。地址默認(rèn)是localhost，端口默認(rèn)是9091

hoodie.metrics.pushgateway.host=x.x.x.x
hoodie.metrics.pushgateway.port=9091

下面屬性用來配置任務(wù)結(jié)束時(shí)候是否將監(jiān)控信息從pushgateway刪除，默認(rèn)是true

hoodie.metrics.pushgateway.delete.on.shutdown=false

下面屬性用來配置任務(wù)名稱前綴、是否需要隨機(jī)的后綴，默認(rèn)是true

hoodie.metrics.pushgateway.job.name=xiaomm
hoodie.metrics.pushgateway.random.job.name.suffix=false

下面屬性用來配置任務(wù)結(jié)束時(shí)候是否將監(jiān)控信息從pushgateway刪除，默認(rèn)是true

hoodie.metrics.pushgateway.delete.on.shutdown=false

3.2  prometheus-httpserver

hoodie.metrics.on=true
hoodie.metrics.reporter.type=PROMETHEUS
hoodie.metrics.reporter.host=9090

至此配置介紹結(jié)束

4. 示例演示

在這個(gè)示例中，我們運(yùn)行了一個(gè) HoodieDeltaStreamer，啟用了指標(biāo)收集并做了相應(yīng)的配置。

以上是“Apache Hudi如何集成Prometheus/Pushgateway進(jìn)行監(jiān)控”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！