如何提高mysql插入數(shù)據(jù)的速度

本篇內(nèi)容介紹了“如何提高mysql插入數(shù)據(jù)的速度”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

需要在mysql中插入2000萬條記錄，用insert語句插入速度很有限，每秒鐘幾百條，放在hadoop集群上跑也是這個(gè)速度，可能是的問題了，網(wǎng)上看到sql server和oracle的insert速度也不是很快。比較簡單的優(yōu)化方法如下：
 
1、在一條insert語句中插入多條記錄
 
[sql]
INSERT INTO tablename (field0, field1, ...) VALUES  
(value0, value1, ...),  
(value0, value1, ...),  
(value0, value1, ...),  
...  
(value0, value1, ...)  
 
這樣插入速度可以提高很多倍，但還是不夠塊，對于2000萬條記錄，每秒鐘一兩千條的插入速度還是太慢。
2、從文本文件導(dǎo)入數(shù)據(jù)
 
可以從文本文件直接導(dǎo)入記錄，不過需要文本文件是行記錄，并且每個(gè)字段之間用相同的字符隔開、每行之間也用相同的字符隔開。
 
寫了個(gè)程序把文本文件的格式處理一下，就可以在mysql客戶端使用如下語句導(dǎo)入數(shù)據(jù)了：
 
[sql]
mysql> LOAD DATA LOCAL INFILE 'fileName' INTO TABLE 'tableName' FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n';  
其中'\t'和'\n'分別是字段和行的分隔符，在不同的情況下可能不一樣。
 
用這種方式，感覺導(dǎo)入的速度主要和文件的大小有關(guān)，和記錄的條數(shù)關(guān)系不太（可能是2000萬的記錄還不夠多吧。。）
導(dǎo)入一個(gè)800MB的文本文件（2000萬行），在單機(jī)上預(yù)處理用了3分鐘，導(dǎo)入數(shù)據(jù)庫用了7分鐘（機(jī)器配置是i5-2400CPU、8GB內(nèi)存、硬盤讀取速度大約90MB/S）

“如何提高mysql插入數(shù)據(jù)的速度”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！