大型互聯(lián)網(wǎng)產(chǎn)品/應(yīng)用運(yùn)維職責(zé)

一、    代碼風(fēng)險(xiǎn)控制和線上服務(wù)配置安全控制。

1、 通過(guò)我們的AOS系統(tǒng)對(duì)代碼上線進(jìn)行合理的審核，從研發(fā)、測(cè)試、產(chǎn)品、總監(jiān)、運(yùn)維各個(gè)環(huán)節(jié)增加管控，來(lái)實(shí)現(xiàn)代碼安全性。
2、 通過(guò)我們的puppet管控對(duì)線上需要修改文件或修改系統(tǒng)配置，需要相關(guān)人員審核以便增加線上的安全性。
3、通過(guò)我們的puppet管控對(duì)線上需要安裝軟件等，需要相關(guān)人員審核以便增加線上的安全性。

二、    發(fā)現(xiàn)問(wèn)題

1、    通過(guò)zabbix收集服務(wù)器上各個(gè)指標(biāo)，比如系統(tǒng)負(fù)載、業(yè)務(wù)宕機(jī)，業(yè)務(wù)狀態(tài)是否良好通過(guò)短信和郵件方式進(jìn)行報(bào)警。（第一種報(bào)警方式）
2、    通過(guò)grafana+ influxdb展現(xiàn)出各個(gè)業(yè)務(wù)的狀態(tài)是否良好、程序是否宕機(jī)、系統(tǒng)負(fù)載屬于正常等，通過(guò)NOC組24小時(shí)人員監(jiān)控進(jìn)行電話報(bào)警。（第二種報(bào)警方式）
3、    通過(guò)kibana+spark+es收集日志信息，通過(guò)日志篩選和過(guò)濾展現(xiàn)出出問(wèn)題的接口以及慢接口。比如5分鐘內(nèi)出現(xiàn)5XX的錯(cuò)誤top10的url。通過(guò)noc組24小時(shí)人員監(jiān)控進(jìn)行電話報(bào)警。（第三種報(bào)警方式）
4、    通過(guò)我們的smokeping網(wǎng)絡(luò)監(jiān)控，可以檢測(cè)出公司使用各個(gè)機(jī)房的網(wǎng)絡(luò)連接情況。能夠判斷出是否網(wǎng)絡(luò)問(wèn)題導(dǎo)致業(yè)務(wù)有影響。

三、    分析問(wèn)題

1、    通過(guò)kibana+es收集日志信息，通過(guò)日志的篩選和過(guò)濾找出慢接口和關(guān)聯(lián)性以及通過(guò)大量數(shù)據(jù)找出可能將要出現(xiàn)的問(wèn)題,進(jìn)行分析問(wèn)題。
2、    通過(guò)kibana+es大量的日志信息以及對(duì)整體業(yè)務(wù)的架構(gòu)把控，做出合理的業(yè)務(wù)架構(gòu)方案。使業(yè)務(wù)更合理和優(yōu)越。

四、    處理問(wèn)題

1、    收到短信和電話報(bào)警后，通過(guò)grafana+ influxdb找出問(wèn)題具體事項(xiàng)，并通過(guò)kibana+es快速的查找問(wèn)題接口以及出現(xiàn)問(wèn)題的根本原因。
2、    接受到報(bào)警后，通過(guò)grafana+ influxdb、kibana+spark+es、smokeping、kibana+es綜合性的快速查找問(wèn)題根本原因。
3、    通過(guò)grafana+ influxdb觀察確定依賴資源是否有問(wèn)題。

五、    事后總結(jié)問(wèn)題

1、    做出容災(zāi)和應(yīng)急方案，出現(xiàn)問(wèn)題能第一時(shí)刻恢復(fù)業(yè)務(wù)，保障業(yè)務(wù)的穩(wěn)定運(yùn)行。
2、    針對(duì)每次出現(xiàn)的問(wèn)題進(jìn)行問(wèn)題分析、改進(jìn)。便于下次同樣類型的問(wèn)題不會(huì)再次發(fā)生。

六、    運(yùn)維自動(dòng)化

1、    通過(guò)我們的puppet進(jìn)行自動(dòng)化配置，減少人工的手動(dòng)操作避免人員的誤操作同時(shí)增加人員的管控，增加了線上服務(wù)器安全性。
2、    通過(guò)我們的cmdb能夠快速的查詢服務(wù)器硬件配置、域名歸屬、服務(wù)器管理員等。
3、    通過(guò)我們的rt事務(wù)追蹤管理能夠快度的定位最近服務(wù)器上進(jìn)行了那些重要操作信息。
4、    通過(guò)我們的sip系統(tǒng)夠查看當(dāng)前管理員負(fù)責(zé)當(dāng)前業(yè)務(wù)下的所有服務(wù)器、域名等便于批量授權(quán)用戶。
5、    通過(guò)我們的AOS代碼上線，減少人員的操作避免人員的誤操作。
6、    通過(guò)我們的docker平臺(tái)，更好的合理運(yùn)用服務(wù)器硬件資源，減少產(chǎn)品成本運(yùn)算