使用Python如何測試InnoDB與MyISAM的讀寫性能

發(fā)布時間：2020-09-13 01:02:46 來源：腳本之家閱讀：120 作者：ChrisYZX 欄目：開發(fā)技術

前言

由于近期有個項目對系統(tǒng)性能要求很高，技術選型上由于種種原因已經(jīng)確定使用Mysql數(shù)據(jù)庫，接下來就是要確定到底使用哪種存儲引擎。我們的應用是典型的寫多讀少，寫入內容為也很短，對系統(tǒng)的穩(wěn)定性要求很高。所以存儲引擎肯定就定在廣泛使用的Innodb和MyISAM之中了。

至于兩者的比較網(wǎng)上也有很多，但是畢竟這個事情也不復雜，決定還是自己來做，去驗證一下在我們的場景下誰更優(yōu)。

本文測試所用工具版本如下：

Tools	Version
MySQL	5.7.18
Python	3.6
Pandas	0.23

① 創(chuàng)建數(shù)據(jù)表

首先我們需要把兩張使用了不同引擎的表創(chuàng)建出來，使用為了方便起見，我們直接使用Navicat創(chuàng)建了兩張員工信息表，具體字段如下：

使用Python如何測試InnoDB與MyISAM的讀寫性能

使用InnoDB引擎的表，設計表名為innodb，選項如下：

使用Python如何測試InnoDB與MyISAM的讀寫性能

使用InnoDB引擎的表，設計表名為myisam，選項如下：

使用Python如何測試InnoDB與MyISAM的讀寫性能

因為是簡單操作，創(chuàng)建的具體細節(jié)就不詳述了，至此，我們的數(shù)據(jù)庫就把使用 InnoDB 和 MyISAM 兩種引擎的表創(chuàng)建好了。

② 單線程寫入性能對比

1. InnoDB 引擎

執(zhí)行以下代碼，往使用了InnoDB引擎的表格插入1000條數(shù)據(jù)

import pandas as pd
from sqlalchemy import create_engine
import time

db = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')
start = time.time()

for i in range(1000):
 data = {'index': i,
   'name': 'name_' + str(i),
   'age': i,
   'salary': i,
   'level': i}
 df = pd.DataFrame(data, index=[0])
 df.to_sql('innodb', db, if_exists='append', index=False)

end = time.time()
print(end - start)

執(zhí)行3次上面的代碼，得到程序寫入1000條數(shù)據(jù)的時間分別為：12.58s、14.10s、12.71s，平均寫入時間為 13.13s。

2. MyISAM 引擎

執(zhí)行以下代碼，往使用了MyISAM引擎的表格插入1000條數(shù)據(jù)

import pandas as pd
from sqlalchemy import create_engine
import time

db = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')
start = time.time()

for i in range(1000):
 data = {'index': i,
   'name': 'name_' + str(i),
   'age': i,
   'salary': i,
   'level': i}
 df = pd.DataFrame(data, index=[0])
 df.to_sql('myisam', db, if_exists='append', index=False)

end = time.time()
print(end - start)

執(zhí)行3次上面的代碼，得到程序寫入1000條數(shù)據(jù)的時間分別為：6.64s、6.99s、7.29s，平均寫入時間為 6.97s。

兩種引擎的單線程寫入速度對比如下：

使用Python如何測試InnoDB與MyISAM的讀寫性能

結論：單線程的情況下，MyISAM引擎的寫入速度比InnoDB引擎的寫入速度快88%

③ 多線程寫入性能對比

1. InnoDB 引擎

執(zhí)行以下代碼，往使用了InnoDB引擎的表格插入1000條數(shù)據(jù)

import pandas as pd
from sqlalchemy import create_engine
import time
from concurrent.futures import ThreadPoolExecutor

db = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')
start = time.time()

data_lst = [{'index': i,
    'name': 'name_' + str(i),
    'age': i,
    'salary': i,
    'level': i} for i in range(1000)]

def write(data):
 df = pd.DataFrame(data, index=[0])
 df.to_sql('innodb', db, if_exists='append', index=False)

def execute():
 with ThreadPoolExecutor(max_workers=5) as executor:
  executor.map(write, data_lst)

execute()

end = time.time()
print(end - start)

執(zhí)行3次上面的代碼，得到程序寫入1000條數(shù)據(jù)的時間分別為：4.98s、4.84s、4.88s，平均寫入時間為 4.9s。

2. MyISAM 引擎

執(zhí)行以下代碼，往使用了MyISAM引擎的表格插入1000條數(shù)據(jù)

import pandas as pd
from sqlalchemy import create_engine
import time
from concurrent.futures import ThreadPoolExecutor

db = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')
start = time.time()

data_lst = [{'index': i,
    'name': 'name_' + str(i),
    'age': i,
    'salary': i,
    'level': i} for i in range(1000)]

def write(data):
 df = pd.DataFrame(data, index=[0])
 df.to_sql('myisam', db, if_exists='append', index=False)

def execute():
 with ThreadPoolExecutor(max_workers=5) as executor:
  executor.map(write, data_lst)

execute()

end = time.time()
print(end - start)

執(zhí)行3次上面的代碼，得到程序寫入1000條數(shù)據(jù)的時間分別為：3.29s、3.62s、3.47s，平均寫入時間為 3.46s。

兩種引擎的多線程寫入速度對比如下：

使用Python如何測試InnoDB與MyISAM的讀寫性能

結論：多線程的情況下，MyISAM引擎的寫入速度比InnoDB引擎的寫入速度快42%

④ 讀取性能對比

為了獲得數(shù)據(jù)量較大的表用于測試數(shù)據(jù)庫的讀取性能，我們循環(huán)執(zhí)行10遍上面多線程寫入數(shù)據(jù)的操作，得到兩張數(shù)據(jù)量為10000條數(shù)據(jù)的表格，然后讀取10遍該表格，獲取讀取時間

1. InnoDB 引擎

執(zhí)行以下代碼，讀取10遍使用了InnoDB引擎的表格

import pandas as pd
from sqlalchemy import create_engine
import time

db = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')
start = time.time()

for _ in range(10):
 df = pd.read_sql('innodb', db)

end = time.time()
print(end - start)

執(zhí)行3次上面的代碼，得到程序10次讀取10000條數(shù)據(jù)的時間分別為：28.94s、28.88s、28.48s，平均寫入時間為 28.77s。

2. MyISAM 引擎

執(zhí)行以下代碼，讀取10遍使用了MyISAM引擎的表格

import pandas as pd
from sqlalchemy import create_engine
import time

db = create_engine('mysql+pymysql://mysql:123456@127.0.0.1:3306/test')
start = time.time()

for _ in range(10):
 df = pd.read_sql('innodb', db)

end = time.time()
print(end - start)

執(zhí)行3次上面的代碼，得到程序10次讀取10000條數(shù)據(jù)的時間分別為：28.51s、29.12s、28.76s，平均寫入時間為 28.8s。

兩種引擎的讀取速度對比如下：

使用Python如何測試InnoDB與MyISAM的讀寫性能

結論：MyISAM引擎和InnoDB引擎的讀取速度無明顯差異

⑤ 總結

1. 寫入速度，MyISAM比InnoDB快，單線程的情況下，兩者差異尤為明顯

2. 讀取速度，InnoDB和MyISAM無明顯差異

好了，以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，如果有疑問大家可以留言交流，謝謝大家對億速云的支持。

向AI問一下細節(jié)

使用Python如何測試InnoDB與MyISAM的讀寫性能

猜你喜歡

最新資訊

相關推薦

相關標簽