MySQL數(shù)據(jù)庫內(nèi)部緩存的使用示例

這篇文章主要介紹了MySQL數(shù)據(jù)庫內(nèi)部緩存的使用示例，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

我們的Web站點隨著訪問量的上升，會遇到很多的挑戰(zhàn)，解決這些問題不僅僅是擴容機器這么簡單，建立和使用合適的緩存機制才是根本。

最開始，我們的Web系統(tǒng)架構(gòu)可能是這樣的，每個環(huán)節(jié)，都可能只有1臺機器。

一、 MySQL數(shù)據(jù)庫內(nèi)部緩存使用

MySQL的緩存機制，就從先從MySQL內(nèi)部開始，下面的內(nèi)容將以最常見的InnoDB存儲引擎為主。

1. 建立恰當(dāng)?shù)乃饕?br/>

最簡單的是建立索引，索引在表數(shù)據(jù)比較大的時候，起到快速檢索數(shù)據(jù)的作用，但是成本也是有的。首先，占用了一定的磁盤空間，其中組合索引最突出，使用需要謹(jǐn)慎，它產(chǎn)生的索引甚至?xí)仍磾?shù)據(jù)更大。其次，建立索引之后的數(shù)據(jù)insert/update/delete等操作，因為需要更新原來的索引，耗時會增加。當(dāng)然，實際上我們的系統(tǒng)從總體來說，是以select查詢操作居多，因此，索引的使用仍然對系統(tǒng)性能有大幅提升的作用。

2. 數(shù)據(jù)庫連接線程池緩存

如果，每一個數(shù)據(jù)庫操作請求都需要創(chuàng)建和銷毀連接的話，對數(shù)據(jù)庫來說，無疑也是一種巨大的開銷。為了減少這類型的開銷，可以在MySQL中配置thread_cache_size來表示保留多少線程用于復(fù)用。線程不夠的時候，再創(chuàng)建，空閑過多的時候，則銷毀。

其實，還有更為激進一點的做法，使用pconnect（數(shù)據(jù)庫長連接），線程一旦創(chuàng)建在很長時間內(nèi)都保持著。但是，在訪問量比較大，機器比較多的情況下，這種用法很可能會導(dǎo)致“數(shù)據(jù)庫連接數(shù)耗盡”，因為建立連接并不回收，最終達到數(shù)據(jù)庫的max_connections（最大連接數(shù)）。因此，長連接的用法通常需要在CGI和MySQL之間實現(xiàn)一個“連接池”服務(wù)，控制CGI機器“盲目”創(chuàng)建連接數(shù)。

3. Innodb緩存設(shè)置（innodb_buffer_pool_size）

innodb_buffer_pool_size這是個用來保存索引和數(shù)據(jù)的內(nèi)存緩存區(qū)，如果機器是MySQL獨占的機器，一般推薦為機器物理內(nèi)存的80%。在取表數(shù)據(jù)的場景中，它可以減少磁盤IO。一般來說，這個值設(shè)置越大，cache命中率會越高。

4. 分庫/分表/分區(qū)。

MySQL數(shù)據(jù)庫表一般承受數(shù)據(jù)量在百萬級別，再往上增長，各項性能將會出現(xiàn)大幅度下降，因此，當(dāng)我們預(yù)見數(shù)據(jù)量會超過這個量級的時候，建議進行分庫/分表/分區(qū)等操作。最好的做法，是服務(wù)在搭建之初就設(shè)計為分庫分表的存儲模式，從根本上杜絕中后期的風(fēng)險。不過，會犧牲一些便利性，例如列表式的查詢，同時，也增加了維護的復(fù)雜度。不過，到了數(shù)據(jù)量千萬級別或者以上的時候，我們會發(fā)現(xiàn)，它們都是值得的。

二、 MySQL數(shù)據(jù)庫多臺服務(wù)搭建

1臺MySQL機器，實際上是高風(fēng)險的單點，因為如果它掛了，我們Web服務(wù)就不可用了。而且，隨著Web系統(tǒng)訪問量繼續(xù)增加，終于有一天，我們發(fā)現(xiàn)1臺MySQL服務(wù)器無法支撐下去，我們開始需要使用更多的MySQL機器。當(dāng)引入多臺MySQL機器的時候，很多新的問題又將產(chǎn)生。

1. 建立MySQL主從，從庫作為備份

這種做法純粹為了解決“單點故障”的問題，在主庫出故障的時候，切換到從庫。不過，這種做法實際上有點浪費資源，因為從庫實際上被閑著了。

2. MySQL讀寫分離，主庫寫，從庫讀。

兩臺數(shù)據(jù)庫做讀寫分離，主庫負(fù)責(zé)寫入類的操作，從庫負(fù)責(zé)讀的操作。并且，如果主庫發(fā)生故障，仍然不影響讀的操作，同時也可以將全部讀寫都臨時切換到從庫中（需要注意流量，可能會因為流量過大，把從庫也拖垮）。

3. 主主互備。

兩臺MySQL之間互為彼此的從庫，同時又是主庫。這種方案，既做到了訪問量的壓力分流，同時也解決了“單點故障”問題。任何一臺故障，都還有另外一套可供使用的服務(wù)。

不過，這種方案，只能用在兩臺機器的場景。如果業(yè)務(wù)拓展還是很快的話，可以選擇將業(yè)務(wù)分離，建立多個主主互備。

三、 在Web服務(wù)器和數(shù)據(jù)庫之間建立緩存

實際上，解決大訪問量的問題，不能僅僅著眼于數(shù)據(jù)庫層面。根據(jù)“二八定律”，80%的請求只關(guān)注在20%的熱點數(shù)據(jù)上。因此，我們應(yīng)該建立Web服務(wù)器和數(shù)據(jù)庫之間的緩存機制。這種機制，可以用磁盤作為緩存，也可以用內(nèi)存緩存的方式。通過它們，將大部分的熱點數(shù)據(jù)查詢，阻擋在數(shù)據(jù)庫之前。

1. 頁面靜態(tài)化

用戶訪問網(wǎng)站的某個頁面，頁面上的大部分內(nèi)容在很長一段時間內(nèi)，可能都是沒有變化的。例如一篇新聞報道，一旦發(fā)布幾乎是不會修改內(nèi)容的。這樣的話，通過CGI生成的靜態(tài)html頁面緩存到Web服務(wù)器的磁盤本地。除了第一次，是通過動態(tài)CGI查詢數(shù)據(jù)庫獲取之外，之后都直接將本地磁盤文件返回給用戶。

在Web系統(tǒng)規(guī)模比較小的時候，這種做法看似完美。但是，一旦Web系統(tǒng)規(guī)模變大，例如當(dāng)我有100臺的Web服務(wù)器的時候。那樣這些磁盤文件，將會有100份，這個是資源浪費，也不好維護。這個時候有人會想，可以集中一臺服務(wù)器存起來，呵呵，不如看看下面一種緩存方式吧，它就是這樣做的。

2. 單臺內(nèi)存緩存

通過頁面靜態(tài)化的例子中，我們可以知道將“緩存”搭建在Web機器本機是不好維護的，會帶來更多問題（實際上，通過PHP的apc拓展，可通過Key/value操作Web服務(wù)器的本機內(nèi)存）。因此，我們選擇搭建的內(nèi)存緩存服務(wù)，也必須是一個獨立的服務(wù)。

內(nèi)存緩存的選擇，主要有redis/memcache。從性能上說，兩者差別不大，從功能豐富程度上說，Redis更勝一籌。

3. 內(nèi)存緩存集群

當(dāng)我們搭建單臺內(nèi)存緩存完畢，我們又會面臨單點故障的問題，因此，我們必須將它變成一個集群。簡單的做法，是給他增加一個slave作為備份機器。但是，如果請求量真的很多，我們發(fā)現(xiàn)cache命中率不高，需要更多的機器內(nèi)存呢？因此，我們更建議將它配置成一個集群。例如，類似redis cluster。

Redis cluster集群內(nèi)的Redis互為多組主從，同時每個節(jié)點都可以接受請求，在拓展集群的時候比較方便?？蛻舳丝梢韵蛉我庖粋€節(jié)點發(fā)送請求，如果是它的“負(fù)責(zé)”的內(nèi)容，則直接返回內(nèi)容。否則，查找實際負(fù)責(zé)Redis節(jié)點，然后將地址告知客戶端，客戶端重新請求。

對于使用緩存服務(wù)的客戶端來說，這一切是透明的。

內(nèi)存緩存服務(wù)在切換的時候，是有一定風(fēng)險的。從A集群切換到B集群的過程中，必須保證B集群提前做好“預(yù)熱”（B集群的內(nèi)存中的熱點數(shù)據(jù)，應(yīng)該盡量與A集群相同，否則，切換的一瞬間大量請求內(nèi)容，在B集群的內(nèi)存緩存中查找不到，流量直接沖擊后端的數(shù)據(jù)庫服務(wù)，很可能導(dǎo)致數(shù)據(jù)庫宕機）。

4. 減少數(shù)據(jù)庫“寫”

上面的機制，都實現(xiàn)減少數(shù)據(jù)庫的“讀”的操作，但是，寫的操作也是一個大的壓力。寫的操作，雖然無法減少，但是可以通過合并請求，來起到減輕壓力的效果。這個時候，我們就需要在內(nèi)存緩存集群和數(shù)據(jù)庫集群之間，建立一個修改同步機制。

先將修改請求生效在cache中，讓外界查詢顯示正常，然后將這些sql修改放入到一個隊列中存儲起來，隊列滿或者每隔一段時間，合并為一個請求到數(shù)據(jù)庫中更新數(shù)據(jù)庫。

除了上述通過改變系統(tǒng)架構(gòu)的方式提升寫的性能外，MySQL本身也可以通過配置參數(shù)innodb_flush_log_at_trx_commit來調(diào)整寫入磁盤的策略。如果機器成本允許，從硬件層面解決問題，可以選擇老一點的RAID（Redundant Arrays of independent Disks，磁盤列陣）或者比較新的SSD（Solid State Drives，固態(tài)硬盤）。

5. NoSQL存儲

不管數(shù)據(jù)庫的讀還是寫，當(dāng)流量再進一步上漲，終會達到“人力有窮時”的場景。繼續(xù)加機器的成本比較高，并且不一定可以真正解決問題的時候。這個時候，部分核心數(shù)據(jù)，就可以考慮使用NoSQL的數(shù)據(jù)庫。NoSQL存儲，大部分都是采用key-value的方式，這里比較推薦使用上面介紹過Redis，Redis本身是一個內(nèi)存cache，同時也可以當(dāng)做一個存儲來使用，讓它直接將數(shù)據(jù)落地到磁盤。

這樣的話，我們就將數(shù)據(jù)庫中某些被頻繁讀寫的數(shù)據(jù)，分離出來，放在我們新搭建的Redis存儲集群中，又進一步減輕原來MySQL數(shù)據(jù)庫的壓力，同時因為Redis本身是個內(nèi)存級別的Cache，讀寫的性能都會大幅度提升。

國內(nèi)一線互聯(lián)網(wǎng)公司，架構(gòu)上采用的解決方案很多是類似于上述方案，不過，使用的cache服務(wù)卻不一定是Redis，他們會有更豐富的其他選擇，甚至根據(jù)自身業(yè)務(wù)特點開發(fā)出自己的NoSQL服務(wù)。

6. 空節(jié)點查詢問題

當(dāng)我們搭建完前面所說的全部服務(wù)，認(rèn)為Web系統(tǒng)已經(jīng)很強的時候。我們還是那句話，新的問題還是會來的?？展?jié)點查詢，是指那些數(shù)據(jù)庫中根本不存在的數(shù)據(jù)請求。例如，我請求查詢一個不存在人員信息，系統(tǒng)會從各級緩存逐級查找，最后查到到數(shù)據(jù)庫本身，然后才得出查找不到的結(jié)論，返回給前端。因為各級cache對它無效，這個請求是非常消耗系統(tǒng)資源的，而如果大量的空節(jié)點查詢，是可以沖擊到系統(tǒng)服務(wù)的。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享MySQL數(shù)據(jù)庫內(nèi)部緩存的使用示例內(nèi)容對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，遇到問題就找億速云，詳細的解決方法等著你來學(xué)習(xí)!