Skywalking微服務(wù)監(jiān)控分析

Service Topology監(jiān)控

調(diào)用鏈路監(jiān)控可以從兩個(gè)角度去看待。我們先從整體上來(lái)認(rèn)識(shí)一下我們所監(jiān)控的系統(tǒng)。

通過(guò)給服務(wù)添加探針并產(chǎn)生實(shí)際的調(diào)用之后，我們可以通過(guò)Skywalking的前端UI查看服務(wù)之間的調(diào)用關(guān)系。

我們簡(jiǎn)單模擬一次服務(wù)之間的調(diào)用。新建兩個(gè)服務(wù)，service-provider以及service-consumer，服務(wù)之間簡(jiǎn)單的通過(guò)Feign Client 來(lái)模擬遠(yuǎn)程調(diào)用。

從圖中可以看到:

• 有兩個(gè)服務(wù)節(jié)點(diǎn)：provider & consumer

• 有一個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)：localhost【mysql】

• 一個(gè)注冊(cè)中心節(jié)點(diǎn)

consumer消費(fèi)了provider提供出來(lái)的接口。

一個(gè)系統(tǒng)的拓?fù)鋱D讓我們清晰的認(rèn)識(shí)到系統(tǒng)之間的應(yīng)用的依賴(lài)關(guān)系以及當(dāng)前狀態(tài)下的業(yè)務(wù)流轉(zhuǎn)流程。細(xì)心的可能發(fā)現(xiàn)圖示節(jié)點(diǎn)consumer上有一部分是紅色的，紅色是什么意思呢？

紅色代表當(dāng)前流經(jīng)consumer節(jié)點(diǎn)的請(qǐng)求有一斷時(shí)間內(nèi)是響應(yīng)異常的。當(dāng)節(jié)點(diǎn)全部變紅的時(shí)候證明服務(wù)現(xiàn)階段內(nèi)就徹底不可用了。運(yùn)維人員可以通過(guò)Topology迅速發(fā)現(xiàn)某一個(gè)服務(wù)潛在的問(wèn)題，并進(jìn)行下一步的排查并做到預(yù)防。

Skywalking Trace監(jiān)控

Skywalking通過(guò)業(yè)務(wù)調(diào)用監(jiān)控進(jìn)行依賴(lài)分析，提供給我們了服務(wù)之間的服務(wù)調(diào)用拓?fù)潢P(guān)系、以及針對(duì)每個(gè)endpoint的trace記錄。

我們?cè)谥翱吹絚onsumer節(jié)點(diǎn)服務(wù)中發(fā)生了錯(cuò)誤，讓我們一起來(lái)定位下錯(cuò)誤是發(fā)生在了什么地方又是什么原因呢？

在每一條trace的信息中都可以看到當(dāng)前請(qǐng)求的時(shí)間、GloableId、以及請(qǐng)求被調(diào)用的時(shí)間。我們分別看一看正確的調(diào)用和異常的調(diào)用。

Trace調(diào)用鏈路監(jiān)控

圖示展示的是一次正常的響應(yīng)，這條響應(yīng)總耗時(shí)19ms，它有4個(gè)span：

• span1 /getStore = 19ms  響應(yīng)的總流轉(zhuǎn)時(shí)間

• span2 /demo2/stores = 14ms  feign client 開(kāi)始調(diào)用遠(yuǎn)程服務(wù)后的響應(yīng)的總時(shí)間

• span3 /stores = 14ms 接口服務(wù)響應(yīng)總時(shí)間

• span4 Mysql = 1ms  服務(wù)提供端查詢(xún)數(shù)據(jù)庫(kù)的時(shí)間

這里span2和span3的時(shí)間表現(xiàn)相同，其實(shí)是不同的，因?yàn)檫@里時(shí)間取了整。

在每個(gè)Span中可以查看當(dāng)前Span的相關(guān)屬性。

•  組件類(lèi)型: SpringMVC、Feign                  

•  Span狀態(tài): false

•  HttpMethod: GET

•  Url: 

  http://192.168.16.125:10002/demo2/stores

這是一次正常的請(qǐng)求調(diào)用Trace日志，可能我們并不關(guān)心正常的時(shí)候，畢竟一切正常不就是我們期待的么！

我們?cè)賮?lái)看下，異常狀態(tài)下我們的Trace以及Span又是什么樣的呢。

發(fā)生錯(cuò)誤的調(diào)用鏈中Span中的is error標(biāo)識(shí)變?yōu)閠rue，并且在名為L(zhǎng)ogs的TAB中可以看到錯(cuò)誤發(fā)生的具體原因。根據(jù)異常情況我們就可以輕松定位到影響業(yè)務(wù)的具體原因，從而快速定位問(wèn)題，解決問(wèn)題。

通過(guò)Log我們看到連接被拒，那么可能是我們的網(wǎng)絡(luò)出現(xiàn)了問(wèn)題（可能性小，因?yàn)閷?shí)際情況如果網(wǎng)絡(luò)出現(xiàn)問(wèn)題我們連這個(gè)trace都看不到了），也有可能是服務(wù)端配置問(wèn)題無(wú)法正確建立連接。通過(guò)異常日志，我們迅速就找到了問(wèn)題的關(guān)鍵。

實(shí)際情況是，我把服務(wù)方停掉了，做了一次簡(jiǎn)單的模擬?？梢?jiàn)，通過(guò)拓?fù)鋱D示我們可以清晰的看到眾多服務(wù)中哪個(gè)服務(wù)是出現(xiàn)了問(wèn)題的，通過(guò)trace日志我們可以很快就定位到問(wèn)題所在，在最短的時(shí)間內(nèi)解決問(wèn)題。

Skywalking還可以查看具體Service的性能指標(biāo)，根據(jù)相關(guān)的性能指標(biāo)可以分析系統(tǒng)的瓶頸所在并提出優(yōu)化方案。

Skywalking 性能監(jiān)控

在服務(wù)調(diào)用拓?fù)鋱D上點(diǎn)擊相應(yīng)的節(jié)點(diǎn)我們可以看到該服務(wù)的

• SLA: 服務(wù)可用性（主要是通過(guò)請(qǐng)求成功與失敗次數(shù)來(lái)計(jì)算）

• CPM: 每分鐘調(diào)用次數(shù)

• Avg Response Time: 平均響應(yīng)時(shí)間

從應(yīng)用整體外部來(lái)看我們可以監(jiān)測(cè)到應(yīng)用在一定時(shí)間段內(nèi)的

1. 服務(wù)可用性指標(biāo)SLA

2. 每分鐘平均響應(yīng)數(shù)

3. 平均響應(yīng)時(shí)間

4. 服務(wù)進(jìn)程PID

5. 服務(wù)所在物理機(jī)的IP、HostName、Operation System

Service JVM信息監(jiān)控

還可以監(jiān)控到Service運(yùn)行時(shí)的CPU、堆內(nèi)存、非堆內(nèi)存使用率、以及GC情況。這些信息來(lái)源于JVM。注意這里的數(shù)據(jù)可不是機(jī)器本身的數(shù)據(jù)。

前文我們提到了通過(guò)查看拓?fù)鋱D以及調(diào)用鏈路可以定位問(wèn)題，可是運(yùn)維人員又不可能一直盯著這些數(shù)據(jù)，那么我們就需要告警能力，在異常達(dá)到一定閾值的時(shí)候主動(dòng)的提示我們?nèi)ゲ榭聪到y(tǒng)狀態(tài)。

在Sywalking 6.x版本中新增了對(duì)服務(wù)狀態(tài)的告警能力。它通過(guò)webhook的方式讓我們可以自定義我們告警信息的通知方式。諸如:郵件通知、微信通知、短信通知等。

Skywalking 服務(wù)告警

先來(lái)看一下告警的規(guī)則配置。在alarm-settings.xml中可以配置告警規(guī)則，告警規(guī)則支持自定義。

一份告警配置由以下幾部分組成：

1. service_resp_time_rule：告警規(guī)則名稱(chēng) ***_rule （規(guī)則名稱(chēng)可以自定義但是必須以’_rule’結(jié)尾

2. indicator-name：指標(biāo)數(shù)據(jù)名稱(chēng)： 定義參見(jiàn)http://t.cn/EGhfbmd

3. op: 操作符： > , < , = 【當(dāng)然你可以自己擴(kuò)展開(kāi)發(fā)其他的操作符】

4. threshold：目標(biāo)值：指標(biāo)數(shù)據(jù)的目標(biāo)數(shù)據(jù) 如sample中的1000就是服務(wù)響應(yīng)時(shí)間，配合上操作符就是大于1000ms的服務(wù)響應(yīng)

5. period: 告警檢查周期：多久檢查一次當(dāng)前的指標(biāo)數(shù)據(jù)是否符合告警規(guī)則

6. counts: 達(dá)到告警閾值的次數(shù)

7. silence-period：忽略相同告警信息的周期

8. message：告警信息

9. webhooks：服務(wù)告警通知服務(wù)地址

Skywalking通過(guò)HttpClient的方式遠(yuǎn)程調(diào)用在配置項(xiàng)webhooks中定義的告警通知服務(wù)地址。

了解了SW所傳送的數(shù)據(jù)格式我們就可以對(duì)告警信息進(jìn)行接收處理，實(shí)現(xiàn)我們需要的告警通知服務(wù)啦！

我們將一個(gè)服務(wù)停掉，并將另外一個(gè)服務(wù)的某個(gè)對(duì)外暴露的接口讓他休眠一定的時(shí)間。然后調(diào)用一定的次數(shù)觀察服務(wù)的狀態(tài)信息以及告警情況。

總結(jié)：