MySQL性能瓶頸排查定位怎么解決

收到線上某業(yè)務(wù)后端的MySQL實(shí)例負(fù)載比較高的告警信息，于是登入服務(wù)器檢查確認(rèn)。

1. 首先我們進(jìn)行OS層面的檢查確認(rèn)

登入服務(wù)器后，我們的目的是首先要確認(rèn)當(dāng)前到底是哪些進(jìn)程引起的負(fù)載高，以及這些進(jìn)程卡在什么地方，瓶頸是什么。

通常來(lái)說(shuō)， 服務(wù)器上最容易成為瓶頸的是磁盤I/O子系統(tǒng) ，因?yàn)樗淖x寫速度通常是最慢的。即便是現(xiàn)在的PCIe SSD，其隨機(jī)I/O讀寫速度也是不如內(nèi)存來(lái)得快。當(dāng)然了，引起磁盤I/O慢得原因也有多種，需要確認(rèn)哪種引起的。

第一步，我們一般先看整體負(fù)載如何，負(fù)載高的話，肯定所有的進(jìn)程跑起來(lái)都慢。

可以執(zhí)行指令 w 或者 sar -q 1 來(lái)查看負(fù)載數(shù)據(jù)，例如：

[yejr@imysql.com:~ ]# w
 11:52:58 up 702 days, 56 min,  1 user,  load average: 7.20, 6.70, 6.47
USER     TTY      FROM              LOGIN@   IDLE   JCPU   PCPU WHAT
root     pts/0    1.xx.xx.xx        11:51    0.00s  0.03s  0.00s w

或者 sar -q 的觀察結(jié)果：

[yejr@imysql.com:~ ]# sar -q 1
Linux 2.6.32-431.el6.x86_64 (yejr.imysql.com)     01/13/2016     _x86_64_    (24 CPU)
02:51:18 PM   runq-sz  plist-sz   ldavg-1   ldavg-5  ldavg-15   blocked
02:51:19 PM         4      2305      6.41      6.98      7.12         3
02:51:20 PM         2      2301      6.41      6.98      7.12         4
02:51:21 PM         0      2300      6.41      6.98      7.12         5
02:51:22 PM         6      2301      6.41      6.98      7.12         8
02:51:23 PM         2      2290      6.41      6.98      7.12         8

load average大意表示當(dāng)前CPU中有多少任務(wù)在排隊(duì)等待，等待越多說(shuō)明負(fù)載越高，跑數(shù)據(jù)庫(kù)的服務(wù)器上，一般load值超過(guò)5的話，已經(jīng)算是比較高的了。

引起load高的原因也可能有多種：

• 某些進(jìn)程/服務(wù)消耗更多CPU資源(服務(wù)響應(yīng)更多請(qǐng)求或存在某些應(yīng)用瓶頸)；

• 發(fā)生比較嚴(yán)重的swap(可用物理內(nèi)存不足)；

• 發(fā)生比較嚴(yán)重的中斷(因?yàn)镾SD或網(wǎng)絡(luò)的原因發(fā)生中斷)；

• 磁盤I/O比較慢(會(huì)導(dǎo)致CPU一直等待磁盤I/O請(qǐng)求)；

這時(shí)我們可以執(zhí)行下面的命令來(lái)判斷到底瓶頸在哪個(gè)子系統(tǒng)：

[yejr@imysql.com:~ ]# top
top - 11:53:04 up 702 days, 56 min,  1 user,  load average: 7.18, 6.70, 6.47
Tasks: 576 total,   1 running, 575 sleeping,   0 stopped,   0 zombie
Cpu(s):  7.7%us,  3.4%sy,  0.0%ni, 77.6%id, 11.0%wa,  0.0%hi,  0.3%si,  0.0%st
Mem:  49374024k total, 32018844k used, 17355180k free,   115416k buffers
Swap: 16777208k total,   117612k used, 16659596k free,  5689020k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
14165 mysql     20   0 8822m 3.1g 4672 S 162.3  6.6  89839:59 mysqld
40610 mysql     20   0 25.6g  14g 8336 S 121.7 31.5 282809:08 mysqld
49023 mysql     20   0 16.9g 5.1g 4772 S  4.6 10.8   34940:09 mysqld

很明顯是前面兩個(gè)mysqld進(jìn)程導(dǎo)致整體負(fù)載較高。

而且，從 Cpu(s) 這行的統(tǒng)計(jì)結(jié)果也能看的出來(lái)， %us 和 %wa 的值較高，表示 當(dāng)前比較大的瓶頸可能是在用戶進(jìn)程消耗的CPU以及磁盤I/O等待上 。

我們先分析下磁盤I/O的情況。

執(zhí)行 sar -d 確認(rèn)磁盤I/O是否真的較大：

[yejr@imysql.com:~ ]# sar -d 1
Linux 2.6.32-431.el6.x86_64 (yejr.imysql.com)     01/13/2016     _x86_64_    (24 CPU)
11:54:32 AM    dev8-0   5338.00 162784.00   1394.00     30.76      5.24      0.98      0.19    100.00
11:54:33 AM    dev8-0   5134.00 148032.00  32365.00     35.14      6.93      1.34      0.19    100.10
11:54:34 AM    dev8-0   5233.00 161376.00    996.00     31.03      9.77      1.88      0.19    100.00
11:54:35 AM    dev8-0   4566.00 139232.00   1166.00     30.75      5.37      1.18      0.22    100.00
11:54:36 AM    dev8-0   4665.00 145920.00    630.00     31.41      5.94      1.27      0.21    100.00
11:54:37 AM    dev8-0   4994.00 156544.00    546.00     31.46      7.07      1.42      0.20    100.00

再利用 iotop 確認(rèn)到底哪些進(jìn)程消耗的磁盤I/O資源最多：

[yejr@imysql.com:~ ]# iotop
Total DISK READ: 60.38 M/s | Total DISK WRITE: 640.34 K/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
16397 be/4 mysql       8.92 M/s    0.00 B/s  0.00 % 94.77 % mysqld --basedir=/usr/local/m~og_3320/mysql.sock --port=3320
 7295 be/4 mysql      10.98 M/s    0.00 B/s  0.00 % 93.59 % mysqld --basedir=/usr/local/m~og_3320/mysql.sock --port=3320
14295 be/4 mysql      10.50 M/s    0.00 B/s  0.00 % 93.57 % mysqld --basedir=/usr/local/m~og_3320/mysql.sock --port=3320
14288 be/4 mysql      14.30 M/s    0.00 B/s  0.00 % 91.86 % mysqld --basedir=/usr/local/m~og_3320/mysql.sock --port=3320
14292 be/4 mysql      14.37 M/s    0.00 B/s  0.00 % 91.23 % mysqld --basedir=/usr/local/m~og_3320/mysql.sock --port=3320

可以看到，端口號(hào)是3320的實(shí)例消耗的磁盤I/O資源比較多，那就看看這個(gè)實(shí)例里都有什么查詢?cè)谂馨伞?/p>

2. MySQL層面檢查確認(rèn)

首先看下當(dāng)前都有哪些查詢?cè)谶\(yùn)行：

[yejr@imysql.com(db)]> mysqladmin pr|grep -v Sleep
+----+----+----------+----+-------+-----+--------------+-----------------------------------------------------------------------------------------------+
| Id |User| Host     | db |Command|Time | State        | Info                                                                                          |
+----+----+----------+----+-------+-----+--------------+-----------------------------------------------------------------------------------------------+
| 25 | x | 10.x:8519 | db | Query | 68  | Sending data | select max(Fvideoid) from (select Fvideoid from t where Fvideoid>404612 order by Fvideoid) t1 |
| 26 | x | 10.x:8520 | db | Query | 65  | Sending data | select max(Fvideoid) from (select Fvideoid from t where Fvideoid>484915 order by Fvideoid) t1 |
| 28 | x | 10.x:8522 | db | Query | 130 | Sending data | select max(Fvideoid) from (select Fvideoid from t where Fvideoid>404641 order by Fvideoid) t1 |
| 27 | x | 10.x:8521 | db | Query | 167 | Sending data | select max(Fvideoid) from (select Fvideoid from t where Fvideoid>324157 order by Fvideoid) t1 |
| 36 | x | 10.x:8727 | db | Query | 174 | Sending data | select max(Fvideoid) from (select Fvideoid from t where Fvideoid>324346 order by Fvideoid) t1 |
+----+----+----------+----+-------+-----+--------------+-----------------------------------------------------------------------------------------------+

可以看到有不少慢查詢還未完成，從slow query log中也能發(fā)現(xiàn)，這類SQL發(fā)生的頻率很高。

這是一個(gè)非常低效的SQL寫法，導(dǎo)致需要對(duì)整個(gè)主鍵進(jìn)行掃描，但實(shí)際上只需要取得一個(gè)最大值而已，從slow query log中可看到：

Rows_sent: 1  Rows_examined: 5502460

每次都要掃描500多萬(wàn)行數(shù)據(jù)，卻只為讀取一個(gè)最大值，效率非常低。

經(jīng)過(guò)分析，這個(gè)SQL稍做簡(jiǎn)單改造即可在個(gè)位數(shù)毫秒級(jí)內(nèi)完成，原先則是需要150-180秒才能完成，提升了N次方。

改造的方法是： 對(duì)查詢結(jié)果做一次倒序排序，取得第一條記錄即可 。而原先的做法是對(duì)結(jié)果正序排序，取最后一條記錄，汗啊。。。