如何從運(yùn)維角度來(lái)分析MySQL數(shù)據(jù)庫(kù)優(yōu)化的關(guān)鍵點(diǎn)

本篇文章為大家展示了如何從運(yùn)維角度來(lái)分析MySQL數(shù)據(jù)庫(kù)優(yōu)化的關(guān)鍵點(diǎn)，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。

 概述

一個(gè)成熟的數(shù)據(jù)庫(kù)架構(gòu)并不是一開(kāi)始設(shè)計(jì)就具備高可用、高伸縮等特性的，它是隨著用戶量的增加，基礎(chǔ)架構(gòu)才逐漸完善。

1、數(shù)據(jù)庫(kù)表設(shè)計(jì)

項(xiàng)目立項(xiàng)后，開(kāi)發(fā)部根據(jù)產(chǎn)品部需求開(kāi)發(fā)項(xiàng)目，開(kāi)發(fā)工程師工作其中一部分就是對(duì)表結(jié)構(gòu)設(shè)計(jì)。對(duì)于數(shù)據(jù)庫(kù)來(lái)說(shuō)，這點(diǎn)很重要，如果設(shè)計(jì)不當(dāng)，會(huì)直接影響訪問(wèn)速度和用戶體驗(yàn)。影響的因素很多，比如慢查詢、低效的查詢語(yǔ)句、沒(méi)有適當(dāng)建立索引、數(shù)據(jù)庫(kù)堵塞(死鎖)等。當(dāng)然，有測(cè)試工程師的團(tuán)隊(duì)，會(huì)做壓力測(cè)試，找bug。對(duì)于沒(méi)有測(cè)試工程師的團(tuán)隊(duì)來(lái)說(shuō)，大多數(shù)開(kāi)發(fā)工程師初期不會(huì)太多考慮數(shù)據(jù)庫(kù)設(shè)計(jì)是否合理，而是盡快完成功能實(shí)現(xiàn)和交付，等項(xiàng)目有一定訪問(wèn)量后，隱藏的問(wèn)題就會(huì)暴露，這時(shí)再去修改就不是這么容易的事了。

2、數(shù)據(jù)庫(kù)部署

該運(yùn)維工程師出場(chǎng)了，項(xiàng)目初期訪問(wèn)量不會(huì)很大，所以單臺(tái)部署足以應(yīng)對(duì)在1500左右的QPS(每秒查詢率)?？紤]到高可用性，可采用MySQL主從復(fù)制+Keepalived做雙擊熱備，常見(jiàn)集群軟件有Keepalived、Heartbeat。

3、數(shù)據(jù)庫(kù)性能優(yōu)化

如果將MySQL部署到普通的X86服務(wù)器上，在不經(jīng)過(guò)任何優(yōu)化情況下，MySQL理論值正常可以處理2000左右QPS，經(jīng)過(guò)優(yōu)化后，有可能會(huì)提升到2500左右QPS，否則，訪問(wèn)量當(dāng)達(dá)到1500左右并發(fā)連接時(shí)，數(shù)據(jù)庫(kù)處理性能就會(huì)變慢，而且硬件資源還很富裕，這時(shí)就該考慮軟件問(wèn)題了。那么怎樣讓數(shù)據(jù)庫(kù)***化發(fā)揮性能呢?

一方面可以單臺(tái)運(yùn)行多個(gè)MySQL實(shí)例讓服務(wù)器性能發(fā)揮到***化，

另一方面是對(duì)數(shù)據(jù)庫(kù)進(jìn)行優(yōu)化，往往操作系統(tǒng)和數(shù)據(jù)庫(kù)默認(rèn)配置都比較保守，會(huì)對(duì)數(shù)據(jù)庫(kù)發(fā)揮有一定限制，可對(duì)這些配置進(jìn)行適當(dāng)?shù)恼{(diào)整，盡可能的處理更多連接數(shù)。

具體優(yōu)化有以下三個(gè)層面：

3.1 數(shù)據(jù)庫(kù)配置優(yōu)化

MySQL常用有兩種存儲(chǔ)引擎，一個(gè)是MyISAM，不支持事務(wù)處理，讀性能處理快，表級(jí)別鎖。另一個(gè)是InnoDB，支持事務(wù)處理(ACID)，設(shè)計(jì)目標(biāo)是為處理大容量數(shù)據(jù)發(fā)揮***化性能，行級(jí)別鎖。

表鎖：開(kāi)銷小，鎖定粒度大，發(fā)生死鎖概率高，相對(duì)并發(fā)也低。

行鎖：開(kāi)銷大，鎖定粒度小，發(fā)生死鎖概率低，相對(duì)并發(fā)也高。

為什么會(huì)出現(xiàn)表鎖和行鎖呢?主要是為了保證數(shù)據(jù)的完整性，舉個(gè)例子，一個(gè)用戶在操作一張表，其他用戶也想操作這張表，那么就要等***個(gè)用戶操作完，其他用戶才能操作，表鎖和行鎖就是這個(gè)作用。否則多個(gè)用戶同時(shí)操作一張表，肯定會(huì)數(shù)據(jù)產(chǎn)生沖突或者異常。

根據(jù)以上看來(lái)，使用InnoDB存儲(chǔ)引擎是***的選擇，也是MySQL5.5以后版本中默認(rèn)存儲(chǔ)引擎。每個(gè)存儲(chǔ)引擎相關(guān)聯(lián)參數(shù)比較多，以下列出主要影響數(shù)據(jù)庫(kù)性能的參數(shù)(篇幅有限，這里只拿innodb分析)。

InnoDB參數(shù)默認(rèn)值：

innodb_buffer_pool_size = 128M #索引和數(shù)據(jù)緩沖區(qū)大小，一般設(shè)置物理內(nèi)存的60%-70% innodb_buffer_pool_instances = 1  #緩沖池實(shí)例個(gè)數(shù)，推薦設(shè)置4個(gè)或8個(gè) innodb_flush_log_at_trx_commit = 1  #關(guān)鍵參數(shù)，0代表大約每秒寫(xiě)入到日志并同步到磁盤，數(shù)據(jù)庫(kù)故障會(huì)丟失1秒左右事務(wù)數(shù)據(jù)。1為每執(zhí)行一條SQL后寫(xiě)入到日志并同步到磁盤，I/O開(kāi)銷大，執(zhí)行完SQL要等待日志讀寫(xiě)，效率低。2代表只把日志寫(xiě)入到系統(tǒng)緩存區(qū)，再每秒同步到磁盤，效率很高，如果服務(wù)器故障，才會(huì)丟失事務(wù)數(shù)據(jù)。對(duì)數(shù)據(jù)安全性要求不是很高的推薦設(shè)置2，性能高，修改后效果明顯。 innodb_file_per_table = OFF  #默認(rèn)是共享表空間，共享表空間idbdata文件不斷增大，影響一定的I/O性能。推薦開(kāi)啟獨(dú)立表空間模式，每個(gè)表的索引和數(shù)據(jù)都存在自己獨(dú)立的表空間中，可以實(shí)現(xiàn)單表在不同數(shù)據(jù)庫(kù)中移動(dòng)。 innodb_log_buffer_size = 8M  #日志緩沖區(qū)大小，由于日志最長(zhǎng)每秒鐘刷新一次，所以一般不用超過(guò)16M

3.2 系統(tǒng)內(nèi)核優(yōu)化

大多數(shù)MySQL都部署在linux系統(tǒng)上，所以操作系統(tǒng)的一些參數(shù)也會(huì)影響到MySQL性能，以下對(duì)linux內(nèi)核進(jìn)行適當(dāng)優(yōu)化。

net.ipv4.tcp_fin_timeout = 30 #TIME_WAIT超時(shí)時(shí)間，默認(rèn)是60s net.ipv4.tcp_tw_reuse = 1  #1表示開(kāi)啟復(fù)用，允許TIME_WAIT socket重新用于新的TCP連接，0表示關(guān)閉 net.ipv4.tcp_tw_recycle = 1  #1表示開(kāi)啟TIME_WAIT socket快速回收，0表示關(guān)閉 net.ipv4.tcp_max_tw_buckets = 4096  #系統(tǒng)保持TIME_WAIT socket***數(shù)量，如果超出這個(gè)數(shù)，系統(tǒng)將隨機(jī)清除一些TIME_WAIT并打印警告信息 net.ipv4.tcp_max_syn_backlog = 4096 #進(jìn)入SYN隊(duì)列***長(zhǎng)度，加大隊(duì)列長(zhǎng)度可容納更多的等待連接

在linux系統(tǒng)中，如果進(jìn)程打開(kāi)的文件句柄數(shù)量超過(guò)系統(tǒng)默認(rèn)值1024，就會(huì)提示“too many files  open”信息，所以要調(diào)整打開(kāi)文件句柄限制。

* soft nofile 65535 * hard nofile 65535

# ulimit -SHn 65535 #立刻生效

3.3 硬件配置

加大物理內(nèi)存，提高文件系統(tǒng)性能。linux內(nèi)核會(huì)從內(nèi)存中分配出緩存區(qū)(系統(tǒng)緩存和數(shù)據(jù)緩存)來(lái)存放熱數(shù)據(jù)，通過(guò)文件系統(tǒng)延遲寫(xiě)入機(jī)制，等滿足條件時(shí)(如緩存區(qū)大小到達(dá)一定百分比或者執(zhí)行sync命令)才會(huì)同步到磁盤。也就是說(shuō)物理內(nèi)存越大，分配緩存區(qū)越大，緩存數(shù)據(jù)越多。當(dāng)然，服務(wù)器故障會(huì)丟失一定的緩存數(shù)據(jù)。

SSD硬盤代替SAS硬盤，將RAID級(jí)別調(diào)整為RAID1+0，相對(duì)于RAID1和RAID5有更好的讀寫(xiě)性能(IOPS)，畢竟數(shù)據(jù)庫(kù)的壓力主要來(lái)自磁盤I/O方面。

4、數(shù)據(jù)庫(kù)架構(gòu)擴(kuò)展

這里主要思想是分解單臺(tái)數(shù)據(jù)庫(kù)負(fù)載，突破磁盤I/O性能，熱數(shù)據(jù)存放緩存中，降低磁盤I/O訪問(wèn)頻率。

4.1 主從復(fù)制與讀寫(xiě)分離

因?yàn)樯a(chǎn)環(huán)境中，數(shù)據(jù)庫(kù)大多都是讀操作，所以部署一主多從架構(gòu)，主數(shù)據(jù)庫(kù)負(fù)責(zé)寫(xiě)操作，并做雙擊熱備，多臺(tái)從數(shù)據(jù)庫(kù)做負(fù)載均衡，負(fù)責(zé)讀操作，主流的負(fù)載均衡器有LVS、HAProxy、Nginx。

怎么來(lái)實(shí)現(xiàn)讀寫(xiě)分離呢?大多數(shù)企業(yè)是在代碼層面實(shí)現(xiàn)讀寫(xiě)分離，效率比較高。另一個(gè)種方式通過(guò)代理程序?qū)崿F(xiàn)讀寫(xiě)分離，企業(yè)中應(yīng)用較少，常見(jiàn)代理程序有MySQL  Proxy、Amoeba。在這樣數(shù)據(jù)庫(kù)集群架構(gòu)中，大大增加數(shù)據(jù)庫(kù)高并發(fā)能力，解決單臺(tái)性能瓶頸問(wèn)題。如果從數(shù)據(jù)庫(kù)一臺(tái)從庫(kù)能處理2000  QPS，那么5臺(tái)就能處理1w QPS(理論上)，數(shù)據(jù)庫(kù)橫向擴(kuò)展性也很容易。

有時(shí)，面對(duì)大量寫(xiě)操作的應(yīng)用時(shí)，單臺(tái)寫(xiě)性能達(dá)不到業(yè)務(wù)需求。如果做雙主，就會(huì)遇到數(shù)據(jù)庫(kù)數(shù)據(jù)不一致現(xiàn)象，產(chǎn)生這個(gè)原因是在應(yīng)用程序不同的用戶會(huì)有可能操作兩臺(tái)數(shù)據(jù)庫(kù)，同時(shí)的更新操作造成兩臺(tái)數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)數(shù)據(jù)發(fā)生沖突或者不一致。在單庫(kù)時(shí)MySQL利用存儲(chǔ)引擎機(jī)制表鎖和行鎖來(lái)保證數(shù)據(jù)完整性，怎樣在多臺(tái)主庫(kù)時(shí)解決這個(gè)問(wèn)題呢?有一套基于perl語(yǔ)言開(kāi)發(fā)的主從復(fù)制管理工具，叫MySQL-MMM(Master-Master  replication managerfor  Mysql，Mysql主主復(fù)制管理器)，這個(gè)工具***的優(yōu)點(diǎn)是在同一時(shí)間只提供一臺(tái)數(shù)據(jù)庫(kù)寫(xiě)操作，有效保證數(shù)據(jù)一致性。

4.2 增加緩存

給數(shù)據(jù)庫(kù)增加緩存系統(tǒng)，把熱數(shù)據(jù)緩存到內(nèi)存中，如果緩存中有要請(qǐng)求的數(shù)據(jù)就不再去數(shù)據(jù)庫(kù)中返回結(jié)果，提高讀性能。緩存實(shí)現(xiàn)有本地緩存和分布式緩存，本地緩存是將數(shù)據(jù)緩存到本地服務(wù)器內(nèi)存中或者文件中。分布式緩存可以緩存海量數(shù)據(jù)，擴(kuò)展性好，主流的分布式緩存系統(tǒng)有memcached、redis，memcached性能穩(wěn)定，數(shù)據(jù)緩存在內(nèi)存中，速度很快，QPS可達(dá)8w左右。如果想數(shù)據(jù)持久化就選擇用redis，性能不低于memcached。

工作過(guò)程：

4.3 分庫(kù)

分庫(kù)是根據(jù)業(yè)務(wù)不同把相關(guān)的表切分到不同的數(shù)據(jù)庫(kù)中，比如web、bbs、blog等庫(kù)。如果業(yè)務(wù)量很大，還可將切分后的庫(kù)做主從架構(gòu)，進(jìn)一步避免單個(gè)庫(kù)壓力過(guò)大。

4.4 分表

數(shù)據(jù)量的日劇增加，數(shù)據(jù)庫(kù)中某個(gè)表有幾百萬(wàn)條數(shù)據(jù)，導(dǎo)致查詢和插入耗時(shí)太長(zhǎng)，怎么能解決單表壓力呢?你就該考慮是否把這個(gè)表拆分成多個(gè)小表，來(lái)減輕單個(gè)表的壓力，提高處理效率，此方式稱為分表。

分表技術(shù)比較麻煩，要修改程序代碼里的SQL語(yǔ)句，還要手動(dòng)去創(chuàng)建其他表，也可以用merge存儲(chǔ)引擎實(shí)現(xiàn)分表，相對(duì)簡(jiǎn)單許多。分表后，程序是對(duì)一個(gè)總表進(jìn)行操作，這個(gè)總表不存放數(shù)據(jù)，只有一些分表的關(guān)系，以及更新數(shù)據(jù)的方式，總表會(huì)根據(jù)不同的查詢，將壓力分到不同的小表上，因此提高并發(fā)能力和磁盤I/O性能。

分表分為垂直拆分和水平拆分：

垂直拆分：把原來(lái)的一個(gè)很多字段的表拆分多個(gè)表，解決表的寬度問(wèn)題。你可以把不常用的字段單獨(dú)放到一個(gè)表中，也可以把大字段獨(dú)立放一個(gè)表中，或者把關(guān)聯(lián)密切的字段放一個(gè)表中。

水平拆分：把原來(lái)一個(gè)表拆分成多個(gè)表，每個(gè)表的結(jié)構(gòu)都一樣，解決單表數(shù)據(jù)量大的問(wèn)題。

4.5 分區(qū)

分區(qū)就是把一張表的數(shù)據(jù)根據(jù)表結(jié)構(gòu)中的字段(如range、list、hash等)分成多個(gè)區(qū)塊，這些區(qū)塊可以在一個(gè)磁盤上，也可以在不同的磁盤上，分區(qū)后，表面上還是一張表，但數(shù)據(jù)散列在多個(gè)位置，這樣一來(lái)，多塊硬盤同時(shí)處理不同的請(qǐng)求，從而提高磁盤I/O讀寫(xiě)性能，實(shí)現(xiàn)比較簡(jiǎn)單。

注：增加緩存、分庫(kù)、分表和分區(qū)主要由程序猿來(lái)實(shí)現(xiàn)。

5、數(shù)據(jù)庫(kù)監(jiān)控

數(shù)據(jù)庫(kù)監(jiān)控維護(hù)是運(yùn)維工程師或者DBA主要工作，包括性能監(jiān)控、性能分析、性能調(diào)優(yōu)、數(shù)據(jù)庫(kù)備份和恢復(fù)等。

5.1 性能狀態(tài)關(guān)鍵指標(biāo)

QPS，Queries Per Second：每秒查詢數(shù)，一臺(tái)數(shù)據(jù)庫(kù)每秒能夠處理的查詢次數(shù)

TPS，Transactions Per Second：每秒處理事務(wù)數(shù)

通過(guò)show status查看運(yùn)行狀態(tài)，會(huì)有300多條狀態(tài)信息記錄，其中有幾個(gè)值幫可以我們計(jì)算出QPS和TPS

基于Questions計(jì)算出QPS：

mysql> show global status like 'Questions'; mysql> show global status like 'Uptime';

基于Com_commit和Com_rollback計(jì)算出TPS：

mysql> show global status like 'Com_commit';  mysql> show global status like 'Com_rollback';  mysql> show global status like 'Uptime';

5.2 開(kāi)啟慢查詢?nèi)罩?/strong>

MySQL開(kāi)啟慢查詢?nèi)罩?，分析出哪條SQL語(yǔ)句比較慢，使用set設(shè)置變量，重啟服務(wù)失效，可以在my.cnf添加參數(shù)***生效。

mysql> set global slow-query-log=on #開(kāi)啟慢查詢功能mysql> set global  slow_query_log_file='/var/log/mysql/mysql-slow.log'; #指定慢查詢?nèi)罩疚募恢胢ysql> set  global log_queries_not_using_indexes=on; #記錄沒(méi)有使用索引的查詢mysql> set global  long_query_time=1; #只記錄處理時(shí)間1s以上的慢查詢

分析慢查詢?nèi)罩?，可以使用MySQL自帶的mysqldumpslow工具，分析的日志較為簡(jiǎn)單。

# mysqldumpslow -t 3 /var/log/mysql/mysql-slow.log #查看最慢的前三個(gè)查詢

5.3 數(shù)據(jù)庫(kù)備份

備份數(shù)據(jù)庫(kù)是最基本的工作，也是最重要的，否則后果很嚴(yán)重，你懂得!但由于數(shù)據(jù)庫(kù)比較大，上百G，往往備份都很耗費(fèi)時(shí)間，所以就該選擇一個(gè)效率高的備份策略，對(duì)于數(shù)據(jù)量大的數(shù)據(jù)庫(kù)，一般都采用增量備份。常用的備份工具有mysqldump、mysqlhotcopy、xtrabackup等，mysqldump比較適用于小的數(shù)據(jù)庫(kù)，因?yàn)槭沁壿媯浞荩詡浞莺突謴?fù)耗時(shí)都比較長(zhǎng)。mysqlhotcopy和xtrabackup是物理備份，備份和恢復(fù)速度快，不影響數(shù)據(jù)庫(kù)服務(wù)情況下進(jìn)行熱拷貝，建議使用xtrabackup，支持增量備份。

5.4 數(shù)據(jù)庫(kù)修復(fù)

有時(shí)候MySQL服務(wù)器突然斷電、異常關(guān)閉，會(huì)導(dǎo)致表?yè)p壞，無(wú)法讀取表數(shù)據(jù)。這時(shí)就可以用到MySQL自帶的兩個(gè)工具進(jìn)行修復(fù)，myisamchk和mysqlcheck。

myisamchk：只能修復(fù)myisam表，需要停止數(shù)據(jù)庫(kù)

常用參數(shù)：

•  -f --force 強(qiáng)制修復(fù)，覆蓋老的臨時(shí)文件，一般不使用

•  -r --recover 恢復(fù)模式

•  -q --quik 快速恢復(fù)

•  -a --analyze 分析表

•  -o --safe-recover 老的恢復(fù)模式，如果-r無(wú)法修復(fù)，可以使用此參數(shù)試試

•  -F --fast 只檢查沒(méi)有正常關(guān)閉的表

mysqlcheck：myisam和innodb表都可以用，不需要停止數(shù)據(jù)庫(kù)，如修復(fù)單個(gè)表，可在數(shù)據(jù)庫(kù)后面添加表名，以空格分割

常用參數(shù)：

•  -a --all-databases 檢查所有的庫(kù)

•  -r --repair 修復(fù)表

•  -c --check 檢查表，默認(rèn)選項(xiàng)

•  -a --analyze 分析表

•  -o --optimize 優(yōu)化表

•  -q --quik 最快檢查或修復(fù)表

•  -F --fast 只檢查沒(méi)有正常關(guān)閉的表

由于關(guān)系型數(shù)據(jù)庫(kù)初衷設(shè)計(jì)限制，一些公司海量數(shù)據(jù)放到關(guān)系型數(shù)據(jù)庫(kù)中，在海量數(shù)據(jù)查詢和分析方面已經(jīng)達(dá)不到更好的性能。因此NoSQL火起來(lái)了，非關(guān)系型數(shù)據(jù)庫(kù)，大數(shù)據(jù)量，具有高性能，同時(shí)也彌補(bǔ)了關(guān)系型數(shù)據(jù)庫(kù)某方面不足，漸漸大多數(shù)公司已經(jīng)將部分業(yè)務(wù)數(shù)據(jù)庫(kù)存放到NoSQL中，如MongoDB、HBase等。數(shù)據(jù)存儲(chǔ)方面采用分布式文件系統(tǒng)，如HDFS、GFS等。海量數(shù)據(jù)計(jì)算分析采用Hadoop、Spark、Storm等。

上述內(nèi)容就是如何從運(yùn)維角度來(lái)分析MySQL數(shù)據(jù)庫(kù)優(yōu)化的關(guān)鍵點(diǎn)，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注億速云行業(yè)資訊頻道。