服務(wù)器故障處理

機(jī)房公網(wǎng)網(wǎng)站流量出口達(dá)到上限，核心站點(diǎn)已經(jīng)出現(xiàn)訪問緩慢、無法加載的現(xiàn)象

1.擴(kuò)充流量

2.換機(jī)房，改變后端Web集群訪問地址，將一部分中等流量的站點(diǎn)服務(wù)器上的Nginx配置分發(fā)到B機(jī)房服務(wù)器，隨后更改DNS解析

有一套能實(shí)時(shí)查看所有域名流量，通過縱向（每臺(tái)服務(wù)器流量多少，當(dāng)前HTTP并發(fā)多少）、橫向（每個(gè)服務(wù)器上運(yùn)行了多少個(gè)域名、每個(gè)域名流量多少、域名訪問來源是什么）做可視化展示的系統(tǒng)，監(jiān)控Nginx主機(jī)上正在使用的域名、單機(jī)總流量、并發(fā)、單個(gè)域名流量等。

注意事項(xiàng)：

不碰核心站點(diǎn)，重要性不言而喻；

不碰小流量站點(diǎn)，因?yàn)檫w移訪問量較小的站點(diǎn)需要遷移多個(gè)站點(diǎn)才能有冗余流量，明顯耽誤時(shí)間。

系統(tǒng)出現(xiàn)故障時(shí)

• 有誰在?別幾個(gè)人一起調(diào)試

#w

#last

• 之前發(fā)生了什么?

#history

• 現(xiàn)在在運(yùn)行的進(jìn)程是啥?

#pstree -a

#ps -aux

• 監(jiān)聽的網(wǎng)絡(luò)服務(wù)

    $ netstat -nxlp

    一般都分開運(yùn)行這三個(gè)命令，不想一下子看到列出一大堆所有的服務(wù)

    如果要顯示所有存在的連接，netstat 會(huì)比較慢， 你可以先用 ss 看一下總體情況

• CPU 和內(nèi)存

    $ htop

• 還有剩余的CPU嗎? 服務(wù)器是幾核的? 是否有某些CPU核負(fù)載過多了?

• 服務(wù)器最大的負(fù)載來自什么地方? 平均負(fù)載是多少?

• IO 性能
  

    $ dstat --top-io --top-bio，用它可以看到誰在進(jìn)行 IO

• 檢查磁盤使用量：服務(wù)器硬盤是否已滿?

• 是否開啟了swap交換模式 (si/so)?

• CPU被誰占用：系統(tǒng)進(jìn)程? 用戶進(jìn)程? 虛擬機(jī)?

應(yīng)用故障

• Apache & Nginx; 查找訪問和錯(cuò)誤日志, 直接找 5xx 錯(cuò)誤, 再看看是否有 limit_zone 錯(cuò)誤。

• MySQL; 在mysql.log找錯(cuò)誤消息，看看有沒有結(jié)構(gòu)損壞的表， 是否有innodb修復(fù)進(jìn)程在運(yùn)行，是否有disk/index/query 問題.

• PHP-FPM; 如果設(shè)定了 php-slow 日志, 直接找錯(cuò)誤信息 (php, mysql, memcache, …)，如果沒設(shè)定，趕緊設(shè)定。

• Varnish; 在varnishlog 和 varnishstat 里, 檢查 hit/miss比. 看看配置信息里是否遺漏了什么規(guī)則，使最終用戶可以直接***你的后端？

• HA-Proxy; 后端的狀況如何？健康狀況檢查是否成功？是前端還是后端的隊(duì)列大小達(dá)到最大值了？

1. 永遠(yuǎn)不要對(duì)當(dāng)前連接的服務(wù)器或者網(wǎng)絡(luò)設(shè)備接口進(jìn)行修改

2. 請(qǐng)務(wù)必為自己的操作準(zhǔn)備一套恢復(fù)機(jī)制

3. 利用工具對(duì)網(wǎng)絡(luò)設(shè)備配置進(jìn)行自動(dòng)化備份能在交換機(jī)無法工作時(shí)幫助大家在幾分鐘內(nèi)部署好替代方案

4. 在進(jìn)行修改前對(duì)每個(gè)配置文件做好備份（.bak）

5. 認(rèn)真監(jiān)控?cái)?shù)據(jù)中心的每個(gè)方面，從室內(nèi)溫度開始、到機(jī)架、再到服務(wù)器--另外，服務(wù)器進(jìn)程檢查、正常運(yùn)行時(shí)間檢查等等，并通過趨勢(shì)及圖形工具監(jiān)控帶寬使用率、溫度、磁盤分區(qū)用量以及其它重要數(shù)據(jù)指標(biāo)。