溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

ganglia監(jiān)控hadoop集群的配置文件問題分析

發(fā)布時間:2021-12-10 13:38:50 來源:億速云 閱讀:199 作者:iii 欄目:大數(shù)據(jù)

這篇文章主要介紹“ganglia監(jiān)控hadoop集群的配置文件問題分析”,在日常操作中,相信很多人在ganglia監(jiān)控hadoop集群的配置文件問題分析問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”ganglia監(jiān)控hadoop集群的配置文件問題分析”的疑惑有所幫助!接下來,請跟著小編一起來學習吧!

ganglia 是監(jiān)控的hadoop 集群 的最佳系統(tǒng). 

安裝步驟就不寫了. 比較簡單.  

主要說下安裝過程, hadoop 的metrics 的配置問題. 

hadoop-metrics2.properties  

如果采用默認配置,  一般情況下, 你會苦不堪言. 

主要問題是 默認的把所有的metrics 監(jiān)控項 全部監(jiān)控出來了. 

那么就帶來了一個問題.  

每個任務(wù), 會派生出 很多container  ,然后每個container 又有很多指標. 

因為一直忙著救火, 就沒有 截圖保留案底了. 

我統(tǒng)計一下 , 一個hadoo 節(jié)點  下面 關(guān)于container 的 rrd 文件就有11700+  

單個hadoop 節(jié)點 在一天內(nèi)的監(jiān)控數(shù)據(jù) 大于 7.5GB . 

到什么情況呢, 在ganglia 里面已經(jīng)無法打開單個節(jié)點的監(jiān)控頁面了.  直接死了. 

同樣的hbase 的 hadoop-metrics2-hbase.properties  中也會涉及到

regionserver 的問題. 每個節(jié)點 上有很多regions  ,然后每個region  都涉及到N多的metrics 監(jiān)控項. 

然后導致rrd 文件暴漲.  效果跟前面一樣. 煩死人. 

怎么解決呢?  查文檔. 

在官方文檔里找到了一點答案. 然后就開始各種演繹. 

Class Description
GlobFilter

A glob pattern filter for metrics.

RegexFilter

A regex pattern filter for metrics

正則表達. 

Fields inherited from class org.apache.hadoop.metrics2.filter.AbstractPatternFilter

EXCLUDE_KEY, EXCLUDE_TAGS_KEY, INCLUDE_KEY, INCLUDE_TAGS_KEY

通過正則表達 可以限制某些metrics 監(jiān)控項的采集等等. 

到這里問題基本就解決了. 

我列出來我的配置的監(jiān)控項做個示例: 

more  hadoop-metrics2-hbase.properties 

 hbase.sink.file-all.class=org.apache.hadoop.metrics2.sink.FileSink

 hbase.sink.file-all.filename=all.metrics

############################################################

*.period=10

*.sink.ganglia.period=10

*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.source.filter.class=org.apache.hadoop.metrics2.filter.RegexFilter

*.record.filter.class=${*.source.filter.class}

*.metric.filter.class=${*.source.filter.class}

hbase.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

hbase.sink.ganglia.record.filter.exclude=Regions

hbase.sink.ganglia.source.filter.exclude=.*Regions.*

hbase.sink.ganglia.period=10

hbase.sink.ganglia.servers=gangliaserver:8649

more  hadoop-metrics2.properties 

################################################

*.period=10

*.sink.ganglia.period=10

*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31

*.source.filter.class=org.apache.hadoop.metrics2.filter.RegexFilter

*.record.filter.class=${*.source.filter.class}

*.metric.filter.class=${*.source.filter.class}

resourcemanager.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

resourcemanager.sink.ganglia.source.filter.exclude=.*_(container)*

resourcemanager.sink.ganglia.record.filter.exclude=container*

resourcemanager.sink.ganglia.source.filter.exclude=*.ontainerResource.*

nodemanager.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

nodemanager.sink.ganglia.source.filter.exclude=.*_(container)*

#nodeemanager.sink.ganglia.record.filter.exclude=*container.*

nodeemanager.sink.ganglia.record.filter.exclude=*container*

nodemanager.sink.ganglia.source.filter.exclude=*ontainerResource*

nodemanager.sink.ganglia.source.filter.exclude=*Containers*

mrappmaster.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

mrappmaster.sink.ganglia.source.filter.exclude=.*_(container)*

mrappmaster.sink.ganglia.record.filter.exclude=*container.*

mrappmaster.sink.ganglia.record.filter.exclude=*container*

mrappmaster.sink.ganglia.source.filter.exclude=*ontainerResource*

jobhistoryserver.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)

jobhistoryserver.sink.ganglia.record.filter.exclude=*container.*

jobhistoryserver.sink.ganglia.record.filter.exclude=*container*

jobhistoryserver.sink.ganglia.source.filter.exclude=*ontainerResource*

##############################################################

到此,關(guān)于“ganglia監(jiān)控hadoop集群的配置文件問題分析”的學習就結(jié)束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續(xù)學習更多相關(guān)知識,請繼續(xù)關(guān)注億速云網(wǎng)站,小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

向AI問一下細節(jié)

免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI