MySQL每秒57萬(wàn)的寫(xiě)入，快還是慢？

本文作者：吳炳錫

來(lái)源：https://yq.aliyun.com/articles/278034

一個(gè)朋友接到一個(gè)需求，從大數(shù)據(jù)平臺(tái)收到一個(gè)數(shù)據(jù)寫(xiě)入在20億+，需要快速地加載到MySQL中，供第二天業(yè)務(wù)展示使用。

對(duì)于單表20億， 在MySQL運(yùn)維，說(shuō)真的這塊目前涉及得比較少，也基本沒(méi)什么經(jīng)驗(yàn)，但對(duì)于InnoDB單表Insert 如果內(nèi)存大于數(shù)據(jù)情況下，可以維持在10萬(wàn)-15萬(wàn)行寫(xiě)入。 但很多時(shí)間我們接受的項(xiàng)目還是數(shù)據(jù)超過(guò)內(nèi)存的。 這里使用XeLabs TokuDB做一個(gè)測(cè)試。

項(xiàng)目地址： https://github.com/XeLabs/tokudb

相對(duì)官方TokuDB的優(yōu)化：

• 內(nèi)置了jemalloc 內(nèi)存分配；
  

• 引入更多的內(nèi)置的TokuDB性能指標(biāo)；
  

• 支持Xtrabackup備份；
  

• 引入ZSTD壓縮算法；
  

• 支持TokuDB的binlog_group_commit特性；

TokuDB核心配置：

表結(jié)構(gòu)：

利用load data寫(xiě)入數(shù)據(jù)：

計(jì)算一下每秒寫(xiě)入速度：

文件大?。?/span>

實(shí)際文件8.5G，寫(xiě)入TokuDB大小3.5G，只是接近于一半多點(diǎn)的壓縮量。 對(duì)于20億數(shù)據(jù)寫(xiě)入，實(shí)際測(cè)試在58分鐘多點(diǎn)就可以完成?？梢詽M(mǎn)足實(shí)際需求，另外對(duì)于磁盤(pán)IO比較好的機(jī)器（SSD類(lèi)盤(pán)，云上的云盤(pán)），如果內(nèi)存和數(shù)據(jù)差不多情況，這量級(jí)數(shù)據(jù)量測(cè)試在Innodb里需要添加自增列，可以在3個(gè)小多一點(diǎn)完成。 從最佳實(shí)戰(zhàn)上來(lái)看，Innodb和TokuDB都寫(xiě)入同樣的數(shù)據(jù)，InnoDB需要花大概是TokuDB3-4倍時(shí)間。文件大小區(qū)別，同樣20億數(shù)據(jù)：

文件大小在5倍大小的區(qū)別。

測(cè)試結(jié)論：

利用TokuDB在某云環(huán)境中8核8G內(nèi)存，500G高速云盤(pán)環(huán)境，多次測(cè)試可以輕松實(shí)現(xiàn)57萬(wàn)每秒的寫(xiě)入量。

另外測(cè)試幾種場(chǎng)景也供大家參考： 如果在TokuDB中使用帶自增的主鍵，主鍵無(wú)值讓MySQL內(nèi)部產(chǎn)生寫(xiě)入速度，下降比較明顯，同樣寫(xiě)入2億數(shù)據(jù)，帶有自建主鍵：

同樣的數(shù)據(jù)寫(xiě)入在主鍵自增無(wú)值產(chǎn)生時(shí)，不能使用TokuDB的 Bulk loader data特性，相當(dāng)于轉(zhuǎn)換為了單條的Insert實(shí)現(xiàn)，所以效果上慢太多。

關(guān)于TokuDB Bulk Loader前提要求，這個(gè)表是空表，對(duì)于自增列，如自增列有值的情況下，也可以使用。 建議實(shí)際使用中，如果自增列有值的情況下，可以考慮去除自增屬性，改成唯一索引，這樣減少自增的一些處理邏輯，讓TokuDB能跑地更快一點(diǎn)。 另外在Bulk Loader處理中為了追求更快速的寫(xiě)入，壓縮方面并不是很好。

關(guān)于TokuDB Bulk Loader :

https://github.com/percona/PerconaFT/wiki/TokuFT-Bulk-Loader

測(cè)試使用CentOS7環(huán)境，編譯的XeLabs TokuDB版本百度云地址：

https://pan.baidu.com/s/1cxoarGW8psQfQpJnpXq09Q