您好,登錄后才能下訂單哦!
這篇文章主要介紹“ganglia監(jiān)控hadoop集群的配置文件問題分析”,在日常操作中,相信很多人在ganglia監(jiān)控hadoop集群的配置文件問題分析問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”ganglia監(jiān)控hadoop集群的配置文件問題分析”的疑惑有所幫助!接下來,請跟著小編一起來學習吧!
ganglia 是監(jiān)控的hadoop 集群 的最佳系統(tǒng).
安裝步驟就不寫了. 比較簡單.
主要說下安裝過程, hadoop 的metrics 的配置問題.
hadoop-metrics2.properties
如果采用默認配置, 一般情況下, 你會苦不堪言.
主要問題是 默認的把所有的metrics 監(jiān)控項 全部監(jiān)控出來了.
那么就帶來了一個問題.
每個任務(wù), 會派生出 很多container ,然后每個container 又有很多指標.
因為一直忙著救火, 就沒有 截圖保留案底了.
我統(tǒng)計一下 , 一個hadoo 節(jié)點 下面 關(guān)于container 的 rrd 文件就有11700+
單個hadoop 節(jié)點 在一天內(nèi)的監(jiān)控數(shù)據(jù) 大于 7.5GB .
到什么情況呢, 在ganglia 里面已經(jīng)無法打開單個節(jié)點的監(jiān)控頁面了. 直接死了.
同樣的hbase 的 hadoop-metrics2-hbase.properties 中也會涉及到
regionserver 的問題. 每個節(jié)點 上有很多regions ,然后每個region 都涉及到N多的metrics 監(jiān)控項.
然后導致rrd 文件暴漲. 效果跟前面一樣. 煩死人.
怎么解決呢? 查文檔.
在官方文檔里找到了一點答案. 然后就開始各種演繹.
Class | Description |
---|---|
GlobFilter | A glob pattern filter for metrics. |
RegexFilter | A regex pattern filter for metrics |
正則表達.
EXCLUDE_KEY, EXCLUDE_TAGS_KEY, INCLUDE_KEY, INCLUDE_TAGS_KEY
通過正則表達 可以限制某些metrics 監(jiān)控項的采集等等.
到這里問題基本就解決了.
我列出來我的配置的監(jiān)控項做個示例:
more hadoop-metrics2-hbase.properties
hbase.sink.file-all.class=org.apache.hadoop.metrics2.sink.FileSink
hbase.sink.file-all.filename=all.metrics
############################################################
*.period=10
*.sink.ganglia.period=10
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.source.filter.class=org.apache.hadoop.metrics2.filter.RegexFilter
*.record.filter.class=${*.source.filter.class}
*.metric.filter.class=${*.source.filter.class}
hbase.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)
hbase.sink.ganglia.record.filter.exclude=Regions
hbase.sink.ganglia.source.filter.exclude=.*Regions.*
hbase.sink.ganglia.period=10
hbase.sink.ganglia.servers=gangliaserver:8649
more hadoop-metrics2.properties
################################################
*.period=10
*.sink.ganglia.period=10
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.source.filter.class=org.apache.hadoop.metrics2.filter.RegexFilter
*.record.filter.class=${*.source.filter.class}
*.metric.filter.class=${*.source.filter.class}
resourcemanager.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)
resourcemanager.sink.ganglia.source.filter.exclude=.*_(container)*
resourcemanager.sink.ganglia.record.filter.exclude=container*
resourcemanager.sink.ganglia.source.filter.exclude=*.ontainerResource.*
nodemanager.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)
nodemanager.sink.ganglia.source.filter.exclude=.*_(container)*
#nodeemanager.sink.ganglia.record.filter.exclude=*container.*
nodeemanager.sink.ganglia.record.filter.exclude=*container*
nodemanager.sink.ganglia.source.filter.exclude=*ontainerResource*
nodemanager.sink.ganglia.source.filter.exclude=*Containers*
mrappmaster.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)
mrappmaster.sink.ganglia.source.filter.exclude=.*_(container)*
mrappmaster.sink.ganglia.record.filter.exclude=*container.*
mrappmaster.sink.ganglia.record.filter.exclude=*container*
mrappmaster.sink.ganglia.source.filter.exclude=*ontainerResource*
jobhistoryserver.sink.ganglia.metric.filter.exclude=.*_(max|min|mean|median|percentile)
jobhistoryserver.sink.ganglia.record.filter.exclude=*container.*
jobhistoryserver.sink.ganglia.record.filter.exclude=*container*
jobhistoryserver.sink.ganglia.source.filter.exclude=*ontainerResource*
##############################################################
到此,關(guān)于“ganglia監(jiān)控hadoop集群的配置文件問題分析”的學習就結(jié)束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續(xù)學習更多相關(guān)知識,請繼續(xù)關(guān)注億速云網(wǎng)站,小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。