Puppet監(jiān)控速查問題的原因及解決方案是什么

Foreman提供了較全面的交互設(shè)施，包括Web前端、CLI和RESTful API。在此基礎(chǔ)之上，可以構(gòu)建監(jiān)控管理系統(tǒng)，以及實(shí)現(xiàn)報(bào)警等功能。

可以簡(jiǎn)單將Puppet的工作流程抽象為四部分：

• 請(qǐng)求階段：Agent基于SSL將自身信息發(fā)送給Server；

• 響應(yīng)階段：Server基于客戶端信息解析相應(yīng)的配置，并最終將偽代碼（catalog）發(fā)送回Agent；

• 執(zhí)行階段：Agent接收catalog并執(zhí)行命令或者更新文件；

• 匯報(bào)階段：Agent把結(jié)果匯報(bào)給Server。

圖1 Puppet工作流程

監(jiān)控概覽

對(duì)Puppet的核心監(jiān)控主要覆蓋如下環(huán)節(jié)：

• Agent與Master通信是否正常；

• Agent策略執(zhí)行是否生效；

• Puppet發(fā)布的策略生效時(shí)間及范圍；

• Master及其所管理集群的運(yùn)行狀態(tài)。

黑盒監(jiān)控

Puppet黑盒監(jiān)控指標(biāo)不符合預(yù)期，說明集群不能正常工作或出現(xiàn)異常，黑盒監(jiān)控指標(biāo)有：所有策略是否都生效，策略生效范圍是否符合預(yù)期，策略生效結(jié)果是否符合預(yù)期。

所有策略是否都生效

說明：將一批測(cè)試節(jié)點(diǎn)，加入到線上Puppet集群，通過定期運(yùn)行檢查腳本驗(yàn)證所有策略是否都生效。

策略生效范圍

說明：策略上線后，需要確認(rèn)其生效范圍是否符合預(yù)期，即策略是否僅在指定的節(jié)點(diǎn)生效。

實(shí)現(xiàn)：通過Puppet模塊MCollective定時(shí)執(zhí)行檢查任務(wù)（檢查實(shí)際生效的機(jī)器列表和服務(wù)樹機(jī)器列表是否一致），如下圖，集群hn-xdata 有98%的機(jī)器符合預(yù)期，2%不符合。

圖2 Puppet策略生效范圍監(jiān)控

策略生效結(jié)果是否符合預(yù)期

說明：策略上線后，需要確保所有策略在所有機(jī)器都生效。

實(shí)現(xiàn)：通過Puppet模塊MCollective定時(shí)執(zhí)行檢查任務(wù)，（檢查實(shí)際生效的機(jī)器列表和服務(wù)樹機(jī)器列表是否一致），如下圖，每一個(gè)策略有一張餅圖。

圖3 Puppet策略結(jié)果監(jiān)控

白盒監(jiān)控

白盒監(jiān)控是黑盒監(jiān)控的補(bǔ)充，服務(wù)于故障定位，從集群容量、流量、延遲、錯(cuò)誤四個(gè)方面梳理。

數(shù)據(jù)采集方式：

• 通過Foreman API

• Master日志分析

表1 通過Foreman API獲取采集的白盒指標(biāo)概覽

容量

Master所在實(shí)例的CPU，網(wǎng)絡(luò)連接數(shù)指標(biāo)，網(wǎng)卡

流量

Agent PV，基于Puppet Master的訪問日志puppetserver-access.log來計(jì)算流量

圖4 Agent PV流量圖

延遲

單個(gè)Agent更新策略需要的時(shí)間：puppet_report_time_total

說明：puppet_report_time_total 是Agent從連接Master到發(fā)送報(bào)告給Master總時(shí)間，0-3s的占50%，0-11s的占90%，0-15s占99%。

圖5 Agent 延遲

錯(cuò)誤

• No reports：沒有報(bào)告的實(shí)例數(shù)量；

• Error agent：執(zhí)行策略出錯(cuò)的實(shí)例數(shù)量；

• Out of sync：執(zhí)行策略超時(shí)、主機(jī)名重復(fù)、主機(jī)連不上Master的實(shí)例數(shù)量。

圖6 Foreman錯(cuò)誤監(jiān)控指標(biāo)

Puppet監(jiān)控發(fā)現(xiàn)的問題

Agent覆蓋所有機(jī)器

問題：不能保證所有機(jī)器Agent都正常運(yùn)行。

解決方案：基于服務(wù)樹或者CMDB相關(guān)系統(tǒng)將所有機(jī)器填加Agent進(jìn)程監(jiān)控。

Agent執(zhí)行策略超時(shí)

問題：大文件并發(fā)下載時(shí)，出現(xiàn)超時(shí)告警。

排查方法：在Agent上執(zhí)行命令“puppet agent -t --debug”, 發(fā)現(xiàn)在拉取文件時(shí)超時(shí)，由于文件較大，在Master上同時(shí)很多Agent拉取，導(dǎo)致超時(shí)。

解決方案：將大文件存放在云存儲(chǔ)上，提高下載速度。

分組不止僅限于現(xiàn)有Facter屬性

問題：策略分組和灰度發(fā)布分組現(xiàn)有Facter屬性不滿足。

原因：隨著接入業(yè)務(wù)越來越多，業(yè)務(wù)分組也越多。

解決方案：自定義Facter。

Agent不同步（Out of Sync）

問題：Agent報(bào)不同步。

原因及解決方案：

表二

策略發(fā)布到非預(yù)期集群

問題：策略生效范圍出錯(cuò)。

原因：Puppet Master入口文件統(tǒng)一為site.pp，由于策略分組多，在灰度發(fā)布階段，相應(yīng)分支也會(huì)很多，運(yùn)維工程師很容易操作出錯(cuò)。

解決方案：將site.pp作為一個(gè)策略模塊進(jìn)行管理，策略模塊中包含默認(rèn)default分組，以及需要灰度發(fā)布的分組。manifest文件夾下的site.pp只需include該模塊即可。

圖7 site.pp優(yōu)化后default分組策略

圖8 策略發(fā)布灰度階段分組

功能監(jiān)控發(fā)現(xiàn)所同步的文件非預(yù)期

問題：Master采用集群方式部署，在策略變更期間多臺(tái)Master上數(shù)據(jù)可能不同步，此時(shí)，同一Agent拉取到的文件可能不一致 。

原因：由于有多臺(tái)Master，其中一臺(tái)Master沒有更新文件，LB通過輪詢策略進(jìn)行轉(zhuǎn)發(fā)，當(dāng)Agent請(qǐng)求Master時(shí)是Master A，再拉取文件時(shí)請(qǐng)求的可能是Master B，兩臺(tái)Master數(shù)據(jù)不一致。

解決方案：LB策略更新為源IP哈希。