監(jiān)控報(bào)警優(yōu)化體會(huì)

個(gè)人體會(huì)，希望能幫助大家~。
報(bào)警 + 消息通道 + 自愈處理，優(yōu)化監(jiān)控報(bào)警
1、報(bào)警類，可以分為灰色報(bào)警、藍(lán)色報(bào)警（重要）、紅色報(bào)警（高危）；如使用zabbix；
2、每類報(bào)警單獨(dú)一個(gè)報(bào)警群，黃色、15分鐘必須有SRE回復(fù)，紅色必須10分鐘內(nèi)回復(fù)；后臺(tái)埋點(diǎn)使用自動(dòng)化標(biāo)記統(tǒng)計(jì) 報(bào)警與回復(fù)時(shí)間差，超期沒有人員回復(fù)跟進(jìn)，直接自動(dòng)電話通知相關(guān)人員，在自動(dòng)電話后5分鐘未回復(fù) 處理中，那么直接后臺(tái)記錄超時(shí)；每日、周統(tǒng)計(jì)按產(chǎn)品線、或人員 統(tǒng)計(jì)總報(bào)警數(shù)、及超時(shí)數(shù)、進(jìn)行考核?？梢允褂媚翅?shù)腶pi接口二次開發(fā)實(shí)現(xiàn)用戶是否恢復(fù)記錄，及自動(dòng)電話通知。
3、有些異常類，報(bào)警后 + 自愈自動(dòng)處理。 或 巡檢類 + 自愈自動(dòng)處理。
所有報(bào)警類消息，及 回復(fù)記錄 全部自動(dòng)搜集入庫，如回復(fù)信息 ，進(jìn)行分類 ，如：更新，cpu 、內(nèi)存、故障、系統(tǒng)bug等 ，在一個(gè)報(bào)警時(shí)候，通過消息中心發(fā)到相關(guān)群里，然后后面加上最近 1天、3 天、7天出現(xiàn)次數(shù)； 及 之前此類報(bào)警的 人員回復(fù)的信息數(shù)據(jù)展示，如 之前人員回復(fù) 更新 60%， 內(nèi)存30%； 推薦 最高值操作。
4、報(bào)警類的回復(fù)統(tǒng)計(jì)，進(jìn)行分類后查看每日、周 的排名情況 ，若是更新類報(bào)警較多，那么直接在每次更新時(shí)候，通過屏蔽消息通道接口 屏蔽此類更新相關(guān)的報(bào)警（屏蔽5分鐘、10分鐘自定），這樣更新時(shí)候 就不報(bào)警到 相關(guān)報(bào)警群里了，但是 監(jiān)控工具如zabbix還要繼續(xù)展示出來。減少了更新導(dǎo)致的報(bào)警；
5、因?yàn)樽杂?、自?dòng)處理，給隱瞞了部分問題。
”如果一個(gè)機(jī)器經(jīng)常出現(xiàn) CPU_IDLE 報(bào)警，那么我們可以將現(xiàn)在的監(jiān)控策略進(jìn)行調(diào)整，比如說，以前 5min 內(nèi)出現(xiàn) 5 次就報(bào)警，現(xiàn)在可以調(diào)整為 10min 內(nèi)出現(xiàn) 20 次再報(bào)警，或者直接刪除這個(gè)報(bào)警策略，或者將報(bào)警短信調(diào)整為報(bào)警郵件，或者各種類似的手段。但這個(gè)機(jī)器為什么出現(xiàn) CPU_IDLE 報(bào)警，卻并沒有人去關(guān)注，更別提解決了“
每日、周統(tǒng)計(jì) 自愈處理的名稱、次數(shù)； 按人員、 部門業(yè)務(wù)線 進(jìn)行維度統(tǒng)計(jì)，某個(gè)自愈較多的，就要優(yōu)化程序或其他問題，來減少自愈次數(shù)；某個(gè)機(jī)器突然出現(xiàn)同類報(bào)警數(shù)增多，有可能就有問題的預(yù)兆，報(bào)警類較多，直接有報(bào)警儀表盤展示各類報(bào)警曲線，通過曲線也發(fā)現(xiàn)問題。~~ 后期報(bào)警少了后，再返回來跟進(jìn)為啥能引起自愈的問題，如磁盤報(bào)警一直報(bào)警就自動(dòng)處理，那么某個(gè)時(shí)間自愈較多了是否代碼debug日志了或者 有異常了導(dǎo)致日志多，導(dǎo)致頻繁清理？

參考：
https://www.infoq.cn/article/1AofGj2SvqrjW3BKwXlN?utm_source=infoq&utm_medium=article&utm_campaign=newinfoq&utm_content=language2019&utm_term=701
擺脫無效報(bào)警？十年運(yùn)維監(jiān)控報(bào)警優(yōu)化經(jīng)驗(yàn)總結(jié)