Docker監(jiān)控——Prometheus

博文大綱：
一、Docker的監(jiān)控
二、prometheus簡介
三、Prometheus組成及架構(gòu)
四、部署prometheus
1）環(huán)境準(zhǔn)備
2）部署prometheus
3）配置Peometheus監(jiān)控實現(xiàn)報警

一、Docker的監(jiān)控

（1）docker自帶的監(jiān)控命令

[root@localhost ~]# docker top wordpress_wordprss_1          //查看容器的使用狀態(tài)
UID                 PID                 PPID                C                   STIME               TTY                 TIME                CMD
root                5601                5569                0                   20:53               ?                   00:00:00            apache2 -DFOREGROUND
33                  6073                5601                0                   20:54               ?                   00:00:00            apache2 -DFOREGROUND
33                  6074                5601                0                   20:54               ?                   00:00:00            apache2 -DFOREGROUND
33                  6075                5601                0                   20:54               ?                   00:00:00            apache2 -DFOREGROUND
33                  6076                5601                0                   20:54               ?                   00:00:00            apache2 -DFOREGROUND
33                  6077                5601                0                   20:54               ?                   00:00:00            apache2 -DFOREGROUND
33                  6096                5601                0                   20:54               ?                   00:00:00            apache2 -DFOREGROUND
33                  6098                5601                0                   20:54               ?                   00:00:00            apache2 -DFOREGROUND
33                  6099                5601                0                   20:54               ?                   00:00:00            apache2 -DFOREGROUND
33                  6100                5601                0                   20:54               ?                   00:00:00            apache2 -DFOREGROUND
33                  6155                5601                0                   20:57               ?                   00:00:00            apache2 -DFOREGROUND
[root@localhost ~]# docker stats wordpress_wordprss_1 
[root@localhost ~]# docker logs wordpress_wordprss_1 
//這三條都是容器本身自帶的監(jiān)控命令

（2）sysdig

[root@localhost ~]# docker run -it --rm --name sysdig --privileged=true --volume=/var/run/docker.sock:/host/var/run/docker.sock --volume=/dev:/host/dev --volume=/proc:/host/proc:ro --volume=/boot:/host/boot:ro --volume=/lib/modules:/host/lib/modules:ro --volume=/usr:/host/usr:ro sysdig/sysdig
//創(chuàng)建一個容器并自動進(jìn)入容器中
//--rm：隨著退出容器而被刪除；
//--privileged=true：賦予特殊權(quán)限；
root@711dbeb59fdd:/# csysdig                 //執(zhí)行這條命令

如圖：

圖中可以使用鍵盤和鼠標(biāo)進(jìn)行操作！

（3）scope

[root@localhost ~]#  curl -L git.io/scope -o /usr/local/bin/scope
[root@localhost ~]#  chmod +x /usr/local/bin/scope     //下載安裝腳本
[root@localhost ~]#  scope launch           //以容器方式啟動
……………………
Weave Scope is listening at the following URL(s):
  * http://172.21.0.1:4040/
  * http://192.168.122.1:4040/
  * http://172.22.0.1:4040/
  * http://172.20.0.1:4040/
  * http://172.18.0.1:4040/
  * http://172.19.0.1:4040/
  * http://192.168.1.1:4040/
//根據(jù)末尾的提示信息進(jìn)行訪問

如圖：

根據(jù)圖中的提示，自行可以點擊進(jìn)行測試！

如果要監(jiān)控兩臺的話：主機名必須進(jìn)行區(qū)分方法如下：

[root@dockerA ~]#  curl -L git.io/scope -o /usr/local/bin/scope
[root@dockerA ~]#  chmod +x /usr/local/bin/scope
[root@dockerA ~]# scope launch 192.168.1.1 192.168.1.2       //首選指定本地的IP，再指定對方的IP
[root@dockerA ~]# docker run -itd --name http httpd      //運行一個容器進(jìn)行測試
[root@dockerB ~]#  curl -L git.io/scope -o /usr/local/bin/scope
[root@dockerB ~]#  chmod +x /usr/local/bin/scope
[root@dockerB ~]# scope launch 192.168.1.2 192.168.1.1
[root@dockerB ~]# docker run -itd --name nginx nginx

訪問（dockerA、dockerB任意一臺即可）測試：

二、prometheus簡介

Prometheus是一套開源的系統(tǒng)監(jiān)控報警框架。它以給定的時間間隔從已配置的目標(biāo)收集指標(biāo)，評估規(guī)則表達(dá)式，顯示結(jié)果，并在發(fā)現(xiàn)某些情況為真時觸發(fā)警報。

作為新一代的監(jiān)控框架，Prometheus具有以下特點 ：

• 強大的多維度數(shù)據(jù)模型：
  （1）時間序列數(shù)據(jù)通過metric名和鍵值對來區(qū)分；
  （2）所有的metrics都可以設(shè)置任意的多維標(biāo)簽；
  （3）數(shù)據(jù)模型更隨意，，不需要刻意設(shè)置為以點分隔的字符串；
  （4）可以對數(shù)據(jù)模型進(jìn)行聚合、切割和切片操作；
  （5）支持雙精度浮點類型，標(biāo)簽可以設(shè)為全unicode（統(tǒng)一碼）；
• 靈活、強大的查詢語句：在同一個查詢語句，可以對多個 metrics 進(jìn)行乘法、加法、連接、取分?jǐn)?shù)位等操作；
• 易于管理：不依賴于分布式存儲；
• 使用 pull 模式采集時間序列數(shù)據(jù)；
• 可以采用 push gateway 的方式把時間序列數(shù)據(jù)推送至 Prometheus server 端；
• 可以通過服務(wù)發(fā)現(xiàn)或者靜態(tài)配置去獲取監(jiān)控的 targets；
• 有多種可視化圖形界面；
• 易于伸縮。；

三、Prometheus組成及架構(gòu)

Prometheus包含了許多組件，其中許多組件都是可選的，常用的組件有：

• Prometheus Server：用于收集和存儲時間序列數(shù)據(jù)；
• Client Library：客戶端庫，為需要監(jiān)控的服務(wù)生成相應(yīng)的 metrics 并暴露給 Prometheus server；
• Push Gateway：主要用于短期的 jobs。由于這類 jobs 存在時間較短，可能在 Prometheus 來 pull 之前就消失了。為此，這次 jobs 可以直接向 Prometheus server 端推送它們的 metrics；
• Exporters：用于暴露已有的第三方服務(wù)的 metrics 給 Prometheus；
• Alertmanager：從 Prometheus server 端接收到 alerts 后，會進(jìn)行去除重復(fù)數(shù)據(jù)，分組，并路由到對端的接受方式，發(fā)出報警；
  …………等等，還有好多，這里就列出幾個常用的組件！

Prometheus官方文檔中的架構(gòu)圖：

官方的架構(gòu)圖中，主要模塊塊包括：Prometheus server, exporters, Pushgateway, PromQL, Alertmanager 以及圖形界面；

大致的工作流程是：
（1）Prometheus server 定期從配置好的 jobs 或者 exporters 中拉 metrics，或者接收來自 Pushgateway 發(fā)過來的 metrics，或者從其他的 Prometheus server 中拉 metrics；
（2）Prometheus server 在本地存儲收集到的 metrics，并運行已定義好的 alert.rules，記錄新的時間序列或者向 Alertmanager 推送警報；
（3）Alertmanager 根據(jù)配置文件，對接收到的警報進(jìn)行處理，發(fā)出告警；
（4）在圖形界面中，可視化采集數(shù)據(jù)；

四、部署prometheus

1）環(huán)境準(zhǔn)備

注意：上述三臺服務(wù)器上必須具備最基本的docker環(huán)境，上述環(huán)境的docker版本為18.09.0！

上述環(huán)境所需組件的作用如下：

• Prometheus server：普羅米修斯的主服務(wù)器（端口：9090）；
• NodeEXporter：負(fù)責(zé)收集Host硬件信息和操作系統(tǒng)信息，（端口：9100）；
• cAdvisor：負(fù)責(zé)收集Host上運行的容器信息（端口：8080）；
• Grafana：負(fù)責(zé)展示普羅米修斯監(jiān)控界面（3000）；
• Alertmanager：用來接收Prometheus發(fā)送的報警信息，并且執(zhí)行設(shè)置好的報警方式，報警內(nèi)容（同樣也是在dockerA主機上部署，端口：9093）；

各組件的關(guān)系：NodeEXporter、cAdvisor負(fù)責(zé)收集信息發(fā)送給 Prometheus server，在由 Prometheus server交給Grafana進(jìn)行圖形化的顯示。如需報警，則由prometheus向Alertmanager組件發(fā)送信息！

實驗環(huán)境，為了簡單起見，關(guān)閉防火墻、SELinux，實際環(huán)境中需開啟相應(yīng)的端口！

2）部署prometheus

（1）運行node-exporter容器

NodeEXporter主要負(fù)責(zé)收集Host硬件信息和操作系統(tǒng)信息！

[root@dockerA ~]# docker run -d --name node -p 9100:9100 -v /proc:/host/proc -v /sys:/host/sys -v /:/rootfs --net=host prom/node-exporter --path.procfs /host/proc --path.sysfs /host/sys --collector.filesystem.ignored-mount-points "^/(sys|proc|dev|host|etc)($|/)"
//使用prom/node-exporter 鏡像創(chuàng)建一個名為node的容器，用于收集硬件和系統(tǒng)信息；
//--net=host表示Prometheus server可以直接與node-exporter通信；
//并映射9100端口

執(zhí)行完成后，客戶端使用瀏覽器進(jìn)行訪問，如圖：

訪問到以上頁面表示node-exporter這個組件安裝成功！

由于這個NodeEXporter組件需要在三臺docker host主機上，所以以上命令就需要在另外兩臺主機上都執(zhí)行。執(zhí)行完成后，自行使用瀏覽器訪問測試！

（2）運行cAdvisor容器

cAdvisor主要負(fù)責(zé)收集Host上運行的容器信息！

[root@dockerA ~]# docker run -v /:/rootfs:ro -v /var/run:/var/run/:rw -v /sys:/sys:ro -v /var/lib/docker:/var/lib/docker:ro -p 8080:8080 --detach=true --name=cadvisor --net=host google/cadvisor

客戶端訪問測試：

訪問到上述頁面則表示cAdvisor這個組件安裝成功！

同樣這個cAdvisor組件也是需要在三臺docker host上全部安裝的！所以以上命令也需在另外兩臺主機上執(zhí)行，執(zhí)行完成后，自行測試！

（3）運行Prometheus server容器（只需在dockerA主機上執(zhí)行即可！）

Prometheus是普羅米修斯的主服務(wù)器！

在部署Prometheus之前，需要對它的配置文件進(jìn)行修改，所以首先運行一個Prometheus容器將其配置文件復(fù)制到本地，便于進(jìn)行修改。

[root@dockerA ~]# docker run -d -p 9090:9090 --name prometheus --net=host prom/prometheus
//運行一個Prometheus容器是為了將它的配置文件拿到本地
[root@dockerA ~]# docker cp prometheus:/etc/prometheus/prometheus.yml .
//將Prometheus容器中的主配置文件復(fù)制到本地
[root@dockerA ~]# vim prometheus.yml      //編輯主配置文件
    - targets: ['localhost:9090','localhost:8080','localhost:9100','192.168.1.2:8080','192.168.1.2:9100','192.168.1.3:8080','192.168.1.3:9100']
//這項原本是存在的，只需修改即可！    
 //用于指定監(jiān)控本機的9090、8080、9100這三個端口，另外添加另外兩臺docker主機的8080、9100這兩個端口。
 //8080端口運行的是cAdvisor服務(wù)
 //9100端口運行的是node-exporter服務(wù)
 //9090端口運行的就是Prometheus服務(wù)
[root@dockerA ~]# docker rm prometheus -f      //將剛才運行的容器刪除
prometheus
[root@dockerA ~]# docker run -d -p 9090:9090 --name prometheus --net=host -v /root/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus
//重新運行一個prometheus容器，將剛才修改完成的配置文件掛載到容器中

客戶端訪問測試：

（4）運行g(shù)rafana容器（同樣只需在dockerA主機上運行即可?。?/h5>

grafana主要負(fù)責(zé)展示普羅米修斯監(jiān)控界面，給我們提供良好的圖形化界面！

[root@dockerA ~]# mkdir grafana-storage
[root@dockerA ~]# chmod 777 -R grafana-storage
//創(chuàng)建一個目錄，賦予777的權(quán)限
[root@dockerA ~]# docker run -d -p 3000:3000 --name grafana -v /root/grafana-storage:/var/lib/grafana -e "GF_SECURITY_ADMIN_PASSWORD=123.com" grafana/grafana
//“-e”選項表示修改容器內(nèi)部的環(huán)境變量，將admin用戶的密碼更改為123.com；

客戶端訪問測試：

上述配置完成后，我們就需要配置它以什么樣的形式來給我們展示了，可以自定義，但是很麻煩，我選擇直接去grafana官網(wǎng)尋找現(xiàn)成的模板。如圖：

將grafana官方的模板導(dǎo)入到我們的grafana容器提供的web頁面中，方法有兩種方式：

1）第一種方式：

在grafana官網(wǎng)選擇自己喜歡的模板，點擊進(jìn)入，如圖：

下載后，回到自己搭建的grafana容器提供的web頁面中，如圖：




但是仔細(xì)看的話，會發(fā)現(xiàn)這個模板有些信息都檢測不到，所以這里就是為了展示一種方式導(dǎo)入模板的方式。個人建議推薦使用第二種方式！

2）第二種方式：

選擇合適的模板后，記錄其ID號，如圖：

記錄下模板的ID號之后，同樣回到自己搭建的grafana容器提供的web頁面中，如圖：

至此web界面的監(jiān)控就部署完成了！

3）配置Peometheus監(jiān)控實現(xiàn)報警

Prometheus的報警方式有好幾種，比如：郵箱、微信、釘釘?shù)?，本次案例采用郵箱告警的方式。

（1）運行alertmanager容器

Alertmanager組件主要是用來接收Prometheus發(fā)送的報警信息，并且執(zhí)行設(shè)置好的報警方式，報警內(nèi)容；

只需在dockerA主機上部署即可！方法如下：

[root@dockerA ~]# docker run -d --name alertmanager -p 9093:9093 prom/alertmanager
//隨便運行一個容器，其目的就是將容器中服務(wù)的配置文件拿到本地
[root@dockerA ~]# docker cp alertmanager:/etc/alertmanager/alertmanager.yml .
//將altermanager服務(wù)的yml配置文件拿到本地
[root@dockerA ~]#  vim alertmanager.yml     //編輯配置文件
global:
  resolve_timeout: 5m
  smtp_from: '1454295320@qq.com'                 #發(fā)送者信息
  smtp_smarthost: 'smtp.qq.com:465' 
  smtp_auth_username: '1454295320@qq.com'            #接收者信息
  smtp_auth_password: 'gfuxsudyqyulbaad'              #使用qq郵箱生成的授權(quán)碼
  smtp_require_tls: false
  smtp_hello: 'qq.com'
route:
  group_by: ['alertname']                      #采用默認(rèn)組
  group_wait: 5s
  group_interval: 5s
  repeat_interval: 5m
  receiver: 'email'  
receivers:
- name: 'email'
  email_configs:
  - to: '1454295320@qq.com'               //發(fā)送者信息
    send_resolved: true                         //當(dāng)容器恢復(fù)正常時，也會發(fā)送一份郵件
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']
//配置文件中常用需要修改的地方已經(jīng)做了備注

alertmanager.yml配置文件中一級字段：

• global：全局配置（包括報警解決的超時時間、SMTP相關(guān)配置、各種渠道通知的API地址等新消息）；
• route：用來設(shè)置報警的分發(fā)策略；
• receivers：配置告警消息接收者信息；
• inhibit_rules：抑制規(guī)則配置，當(dāng)存在與另一組匹配的警報時，抑制規(guī)則將僅用于一組匹配的；

[root@dockerA ~]# docker rm -f alertmanager        //將原本的alertmanager 容器刪除
[root@dockerA ~]# docker run -d --name alertmanager -p 9093:9093 -v /root/alertmanager.yml:/etc/alertmanager/alertmanager.yml prom/alertmanager
//重新運行alertmanager 容器，并將配置文件掛載到容器中
//建議運行容器之后，使用docker ps | grep alertmanager 確保容器正常運行
//如果配置文件編寫錯誤，那么這個容器是無法啟動的

（2）配置alertmanager報警規(guī)則

[root@dockerA ~]# mkdir -p prometheus/rules && cd prometheus/rules
//創(chuàng)建目錄用于存放規(guī)則的目錄
[root@dockerA rules]# vim node-up.rules         //編寫規(guī)則
groups:
- name: node-up               //自定義名稱
  rules:
  - alert: node-up
    expr: up{job="prometheus"} == 0               
// job的名稱必須和prometheus配置文件中的 - job_name: 'prometheus'對應(yīng)
    for: 15s
    labels:
      severity: 1
      team: node
    annotations:
      summary: "{{ $labels.instance }} 已停止運行超過 15s！"

可以根據(jù)以上配置文件進(jìn)行修改，若想自己編寫報警規(guī)則，可以參考它的官方文檔，如圖：

（3）關(guān)聯(lián)Prometheus

 [root@dockerA ~]# vim prometheus.yml 
  8 alerting:
  9   alertmanagers:
 10   - static_configs:
 11     - targets:
 12        - 192.168.1.1:9093            //此行將原本的內(nèi)容更改為alertmanager容器的IP+端口

 13 
 14 # Load rules once and periodically evaluate them according to the global 'evaluat    ion_interval'.
 15 rule_files:
 16   - "/usr/local/prometheus/rules/*.rules"           //這一行需要手動添加，指定容器內(nèi)的路徑
 [root@dockerA ~]# docker rm -f prometheus           //修改完配置為文件后，需要將容器刪除，重新運行一臺新的容器
[root@dockerA ~]# docker run -d -p 9090:9090 --name prometheus --net=host -v /root/prometheus.yml:/etc/prometheus/prometheus.yml -v /root/prometheus/rules/node-up.rules:/usr/local/prometheus/rules/node-up.rules prom/prometheus
//指定步驟（2）編寫的rule文件的路徑，

為防止格式可能會出現(xiàn)錯誤，附上截圖一張，如下：

至此，如果prometheus頁面中的target有異常（比如宕機），那么就會給你的郵箱發(fā)送報警信息。

我手動停掉容器，收到的郵件如下：

為了追求美觀，我們采取設(shè)置一下報警信息的模板！

（4）設(shè)置報警信息模板

[root@dockerA ~]# cd prometheus
[root@dockerA prometheus]# mkdir alertmanager-tmpl
[root@dockerA prometheus]# cd alertmanager-tmpl/
[root@dockerA prometheus]#  vim email.tmpl
{{ define "email.from" }}1454295320@qq.com{{ end }}
{{ define "email.to" }}1454295320@qq.com{{ end }}
{{ define "email.to.html" }}
{{ range .Alerts }}
=========start==========<br>
告警程序: prometheus_alert<br>
告警級別: {{ .Labels.severity }} 級<br>
告警類型: {{ .Labels.alertname }}<br>
故障主機: {{ .Labels.instance }}<br>
告警主題: {{ .Annotations.summary }}<br>
觸發(fā)時間: {{ .StartsAt.Format "2019-08-04 16:58:15" }} <br>
=========end==========<br>
{{ end }}
{{ end }}
[root@dockerA ~]# vim alertmanager.yml 
global:
  resolve_timeout: 5m
  smtp_from: '1454295320@qq.com'
  smtp_smarthost: 'smtp.qq.com:465'
  smtp_auth_username: '1454295320@qq.com'
  smtp_auth_password: 'flnuwdktcbzwffag'
  smtp_require_tls: false
  smtp_hello: 'qq.com'
templates:                                   //添加此行
  - '/etc/alertmanager-tmpl/*.tmpl'          //指定容器中模板的路徑
route:
  group_by: ['alertname']
  group_wait: 5s
  group_interval: 5s
  repeat_interval: 5m
  receiver: 'email'
receivers:
- name: 'email'
  email_configs:
  - to: '{{ template "email.to" }}'       //必須和模板中對應(yīng)               
    html: '{{ template "email.to.html" . }}'       //必須和模板中對應(yīng)
    send_resolved: true
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']
[root@dockerA ~]# docker rm alertmanager -f
//刪除容器
[root@dockerA ~]# docker run -d --name alertmanager -p 9093:9093 -v /root/alertmanager.yml:/etc/alertmanager/alertmanager.yml -v /root/prometheus/alertmanager-tmpl:/etc/alertmanager-tmpl prom/alertmanager
//創(chuàng)建容器本地創(chuàng)建的模板文件
//創(chuàng)建完成后，確定容器是正常運行

至此，新的報警模板也生成了，如果以下容器有Down的，就會給你發(fā)送新的郵件，恢復(fù)正常后，也會發(fā)送郵件，同樣，郵件中的內(nèi)容格式是有誤的，但是你可以正常接收到報警信息，若想要更改其報警模板，可以參考官方文檔

郵箱收到的報警信息如下：

比原本的效果要好很多！就簡單介紹一下這一個吧，有興趣可以參考官網(wǎng)的文檔，自行進(jìn)行編寫！

————————————本文到此結(jié)束，感謝閱讀————————————