python讀取幾千萬(wàn)行的大表內(nèi)存的示例分析

小編給大家分享一下python讀取幾千萬(wàn)行的大表內(nèi)存的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

python可以做什么

Python是一種編程語(yǔ)言，內(nèi)置了許多有效的工具，Python幾乎無(wú)所不能，該語(yǔ)言通俗易懂、容易入門(mén)、功能強(qiáng)大，在許多領(lǐng)域中都有廣泛的應(yīng)用，例如最熱門(mén)的大數(shù)據(jù)分析，人工智能，Web開(kāi)發(fā)等。

Python導(dǎo)數(shù)據(jù)的時(shí)候，需要在一個(gè)大表上讀取很大的結(jié)果集。

如果用傳統(tǒng)的方法，Python的內(nèi)存會(huì)爆掉，傳統(tǒng)的讀取方式默認(rèn)在內(nèi)存里緩存下所有行然后再處理，內(nèi)存容易溢出

解決的方法：

1）使用SSCursor(流式游標(biāo))，避免客戶端占用大量?jī)?nèi)存。(這個(gè)cursor實(shí)際上沒(méi)有緩存下來(lái)任何數(shù)據(jù)，它不會(huì)讀取所有所有到內(nèi)存中，它的做法是從儲(chǔ)存塊中讀取記錄，并且一條一條返回給你。)

2）使用迭代器而不用fetchall,即省內(nèi)存又能很快拿到數(shù)據(jù)。

import MySQLdb.cursors

conn = MySQLdb.connect(host='ip地址', user='用戶名', passwd='密碼', db='數(shù)據(jù)庫(kù)名', port=3306,
   charset='utf8', cursorclass = MySQLdb.cursors.SSCursor)
cur = conn.cursor()
cur.execute("SELECT * FROM bigtable");
row = cur.fetchone()
while row is not None:
 do something
 row = cur.fetchone()

cur.close()
conn.close()

需要注意的是，

1、因?yàn)镾SCursor是沒(méi)有緩存的游標(biāo),結(jié)果集只要沒(méi)取完，這個(gè)conn是不能再處理別的sql，包括另外生成一個(gè)cursor也不行的。

如果需要干別的，請(qǐng)另外再生成一個(gè)連接對(duì)象。

2、 每次讀取后處理數(shù)據(jù)要快，不能超過(guò)60s，否則mysql將會(huì)斷開(kāi)這次連接，也可以修改 SET NET_WRITE_TIMEOUT = xx 來(lái)增加超時(shí)間隔。

以上是“python讀取幾千萬(wàn)行的大表內(nèi)存的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！