如何實現(xiàn)基于Prometheus和Grafana的監(jiān)控平臺之運維告警

在rules文件夾下建立告警規(guī)則文件 service_down.yml,當服務器下線時發(fā)送郵件。

groups:
 - name: ServiceStatus
   rules:
     - alert: ServiceStatusAlert
       expr: up == 0  
       for: 2m 
       labels:
         team: node
       annotations:
         summary: "Instance {{ $labels.instance }} has bean down"
         description: "{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 2 minutes."
         value: "{{ $value }}"     

「配置詳解」

alert：告警規(guī)則的名稱。
expr：基于PromQL表達式告警觸發(fā)條件，用于計算是否有時間序列滿足該條件。
for：評估等待時間，可選參數(shù)。用于表示只有當觸發(fā)條件持續(xù)一段時間后才發(fā)送告警。在等待期間新產(chǎn)生告警的狀態(tài)為PENDING，等待期后為FIRING。
labels：自定義標簽，允許用戶指定要附加到告警上的一組附加標簽。
annotations：用于指定一組附加信息，比如用于描述告警詳細信息的文字等，annotations的內(nèi)容在告警產(chǎn)生時會一同作為參數(shù)發(fā)送到Alertmanager。

配置完成后重啟Prometheus，訪問Prometheus查看告警配置。

• 測試        
  關(guān)閉node_exporter,過2分鐘就可以收到告警郵件啦，截圖如下：         Alertmanager的告警內(nèi)容支持使用模板配置，可以使用好看的模板進行渲染，感興趣的可以試試！     

The More

node exporter的一些計算語句

• CPU使用率(單位為percent)        
          (avg by (instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)
• 內(nèi)存已使用(單位為bytes)        
          node_memory_MemTotal_bytes - node_memory_MemFree_bytes - node_memory_Cached_bytes - node_memory_Buffers_bytes - node_memory_Slab_bytes
• 內(nèi)存使用量(單位為bytes/sec)        
          node_memory_MemTotal_bytes - node_memory_MemFree_bytes - node_memory_Cached_bytes - node_memory_Buffers_bytes - node_memory_Slab_bytes
• 內(nèi)存使用率(單位為percent)        
          ((node_memory_MemTotal_bytes - node_memory_MemFree_bytes - node_memory_Cached_bytes - node_memory_Buffers_bytes - node_memory_Slab_bytes)/node_memory_MemTotal_bytes) * 100
• server1的內(nèi)存使用率(單位為percent)        
          ((node_memory_MemTotal_bytes{instance="server1"} - node_memory_MemAvailable_bytes{instance="server1"})/node_memory_MemTotal_bytes{instance="server1"}) * 100
• server2的磁盤使用率(單位為percent)        
          ((node_filesystem_size_bytes{fstype=~"xfs|ext4",instance="server2"} - node_filesystem_free_bytes{fstype=~"xfs|ext4",instance="server2"}) / node_filesystem_size_bytes{fstype=~"xfs|ext4",instance="server2"}) * 100
• uptime時間(單位為seconds)        
          time() - node_boot_time
• server1的uptime時間(單位為seconds)        
          time() - node_boot_time_seconds{instance="server1"}
• 網(wǎng)絡流出量(單位為bytes/sec)        
          irate(node_network_transmit_bytes_total{device!~"lo|bond[0-9]|cbr[0-9]|veth.*"}[5m]) > 0
• server1的網(wǎng)絡流出量(單位為bytes/sec)        
          irate(node_network_transmit_bytes_total{instance="server1", device!~"lo|bond[0-9]|cbr[0-9]|veth.*"}[5m]) > 0
• 網(wǎng)絡流入量(單位為bytes/sec)        
          irate(node_network_receive_bytes_total{device!~"lo|bond[0-9]|cbr[0-9]|veth.*"}[5m]) > 0
• server1的網(wǎng)絡流入量(單位為bytes/sec)        
          irate(node_network_receive_bytes_total{instance="server1", device!~"lo|bond[0-9]|cbr[0-9]|veth.*"}[5m]) > 0
• 磁盤讀取速度(單位為bytes/sec)        
          irate(node_disk_read_bytes_total{device=~"sd.*"}[5m])