您好,登錄后才能下訂單哦!
這篇文章主要為大家展示了“python pickle存儲(chǔ)、讀取大數(shù)據(jù)量列表、字典數(shù)據(jù)的示例分析”,內(nèi)容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“python pickle存儲(chǔ)、讀取大數(shù)據(jù)量列表、字典數(shù)據(jù)的示例分析”這篇文章吧。
針對于數(shù)據(jù)量比較大的列表、字典,可以采用將其加工為數(shù)據(jù)包來調(diào)用,減小文件大小
#列表 #存儲(chǔ) list1 = [123,'xiaopingguo',54,[90,78]] list_file = open('list1.pickle','wb') pickle.dump(list1,list_file) list_file.close() #讀取 list_file = open('list1.pickle','rb') list2 = pickle.load(list_file) print(list2) #字典 #存儲(chǔ) list3 = {'12': 123, '23': 'xiaopingguo', '34': 54, '45': [90, 78]} list3_file = open('list3.pickle', 'wb') pickle.dump(list3, list3_file) list3_file.close() # # 讀取 list3_file = open('list3.pickle', 'rb') list3 = pickle.load(list3_file) print(list3) print(list3['23']
ps:下面看下python 利用pickle存大數(shù)據(jù)
最近在處理一份數(shù)據(jù),有一個(gè)巨大的、字典型的中間變量,由于今后會(huì)持久、高頻地使用,因此我考慮將其保存成類似于matlab的.mat格式的數(shù)據(jù),方便以后隨時(shí)讀取。
理所當(dāng)然地會(huì)想到利用pickle來保存數(shù)據(jù),因?yàn)檫@是在python環(huán)境下最常用也最簡單的存儲(chǔ)數(shù)據(jù)的方式。
python存儲(chǔ)數(shù)據(jù)的方法有很多,最常用的做法就是利用pickle模塊,當(dāng)然還有其他做法,比如存成json、txt等格式。至于
pandas、h6等方式的另說哈~
pickle模塊介紹
pickle模塊實(shí)現(xiàn)了用于序列化和反序列化python對象結(jié)構(gòu)的二進(jìn)制協(xié)議。 序列化操作"pickling"是將python對象層次結(jié)構(gòu)轉(zhuǎn)換為字節(jié)流的過程,反序列化操作 "unpickling"則是將字節(jié)流轉(zhuǎn)換回對象層次結(jié)構(gòu)。
不得不提到的是,pickle是python所獨(dú)有的,因此非python程序可能無法重構(gòu)pickle對象。在工作中,我就遇到一個(gè)問題,就是我用sklearn訓(xùn)練得到的機(jī)器學(xué)習(xí)模型,用pickle保存下來后,工程方面的同事是沒法用java調(diào)用這個(gè)模型的,一個(gè)臨時(shí)的方法是有位同事讀pickle源碼,自己用java一步步反序列化回來,佩服佩服。
pickle使用技巧
對于最簡單的代碼,使用 dump() 和 load() 函數(shù)便足夠了。
import pickle a = 1 # 保存 with open('data.pickle', 'wb') as f: pickle.dump(data, f) # 讀取 with open('data.pickle', 'rb') as f: b = pickle.load(f)
但如果你讀過pickle的說明文檔的話,會(huì)發(fā)現(xiàn)有個(gè)參數(shù)叫做protocol。參數(shù)protocol代表了序列化模式(pickle協(xié)議),在python2.X版本默認(rèn)值為0,在python3.X本默認(rèn)值為3。簡而言之,不同的python版本對應(yīng)著不同的最高協(xié)議,同時(shí)protocol值越大,代表了所用的協(xié)議版本越高。如圖所示,
那么修改protocol會(huì)有什么影響呢?protocol值越大,dump的速度越快,并且支持的數(shù)據(jù)類型更多,保存下來的文件占用空間更小,同時(shí)也帶來一些其他優(yōu)化,例如在python3.4中,協(xié)議版本4新支持對非常大的數(shù)據(jù)進(jìn)行序列化。因此可以的話,請選擇最高協(xié)議版本作為protocol參數(shù)的值,即設(shè)protocol=pickle.HIGHEST_PROTOCOL
即可。
那么,上面的那段代碼可以改成:
import pickle a = 1 # 保存 with open('data.pickle', 'wb') as f: pickle.dump(data, f, protocol=pickle.HIGHEST_PROTOCOL) # 讀取 with open('data.pickle', 'rb') as f: b = pickle.load(f)
可能,對于小數(shù)據(jù),影響不會(huì)很大。
但當(dāng)你需要對大數(shù)據(jù)進(jìn)行序列化的時(shí)候,請記得pickle的這個(gè)技巧。
以上是“python pickle存儲(chǔ)、讀取大數(shù)據(jù)量列表、字典數(shù)據(jù)的示例分析”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。