Python如何實(shí)現(xiàn)從數(shù)據(jù)庫(kù)讀取大量數(shù)據(jù)批量寫入文件

這篇文章主要介紹了Python如何實(shí)現(xiàn)從數(shù)據(jù)庫(kù)讀取大量數(shù)據(jù)批量寫入文件，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

使用機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)時(shí)，如果數(shù)據(jù)量較大可能我們不能夠一次性將數(shù)據(jù)加載進(jìn)內(nèi)存，這時(shí)我們需要將數(shù)據(jù)進(jìn)行預(yù)處理，分批次加載進(jìn)內(nèi)存。

下面是代碼作用是將數(shù)據(jù)從數(shù)據(jù)庫(kù)讀取出來分批次寫入txt文本文件，方便我們做數(shù)據(jù)的預(yù)處理和訓(xùn)練機(jī)器學(xué)習(xí)模型。

#%%
import pymssql as MySQLdb #這里是python3 如果你是python2.x的話，import MySQLdb
#數(shù)據(jù)庫(kù)連接屬性
hst = '188.10.34.18'
usr = 'sa'
passwd = 'p@ssw0rd'
db = 'HistoryTrace'
 
#總共多少數(shù)據(jù)
allData = 1674333
#每個(gè)批次多少條數(shù)據(jù)
dataOfEach = 20000
#批次
batch = ceil(allData/dataOfEach)
 
#文件名
global IDctrl 
IDctrl = 1
filename = str(IDctrl)+'.txt'
 
#連接數(shù)據(jù)庫(kù)
conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db)
cur=conn.cursor()
 
while IDctrl<batch:
 #讀取數(shù)據(jù)庫(kù)
 sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus\
    FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach) 
 cur.execute(sql)
 rows=cur.fetchall()
 #寫文件
 f = open(filename,'w')
 f.writelines(str(rows))
 #文件名加1
 IDctrl+=1
 filename = str(IDctrl)+'.txt'
 
#關(guān)閉數(shù)據(jù)庫(kù)連接
f.close()
conn.close()

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Python如何實(shí)現(xiàn)從數(shù)據(jù)庫(kù)讀取大量數(shù)據(jù)批量寫入文件”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!