Python的pickle序列化和JSON序列化實(shí)例分析

本文小編為大家詳細(xì)介紹“Python的pickle序列化和JSON序列化實(shí)例分析”，內(nèi)容詳細(xì)，步驟清晰，細(xì)節(jié)處理妥當(dāng)，希望這篇“Python的pickle序列化和JSON序列化實(shí)例分析”文章能幫助大家解決疑惑，下面跟著小編的思路慢慢深入，一起來(lái)學(xué)習(xí)新知識(shí)吧。

常用的標(biāo)準(zhǔn)庫(kù)

序列化模塊

import pickle

序列化和反序列化

把不能直接存儲(chǔ)的數(shù)據(jù)變得可存儲(chǔ)，這個(gè)過(guò)程叫做序列化。把文件中的數(shù)據(jù)拿出來(lái)，回復(fù)稱(chēng)原來(lái)的數(shù)據(jù)類(lèi)型，這個(gè)過(guò)程叫做反序列化。

在文件中存儲(chǔ)的數(shù)據(jù)只能是字符串，或者是字節(jié)流，不能是其它的數(shù)據(jù)類(lèi)型，但是如果想要將其存儲(chǔ)就需要序列化。

Python中的序列化模塊叫做 pickle，PHP等其它的一些語(yǔ)言將其稱(chēng)作serialize 或者unserialize，每個(gè)語(yǔ)言的序列化功能可以序列化它本身的一切數(shù)據(jù)類(lèi)型。

使用場(chǎng)景

現(xiàn)在存在一段數(shù)據(jù)，現(xiàn)在并不需要他，但是說(shuō)不定什么時(shí)候我就要用它，那么最好的方法就是將這段數(shù)據(jù)保存起來(lái)。

保存這段數(shù)據(jù)一般來(lái)說(shuō)有那么幾種方法（入庫(kù)或者保存文件），但是這段數(shù)據(jù)很復(fù)雜，而保存在數(shù)據(jù)庫(kù)中需要特定的數(shù)據(jù)格式，入庫(kù)的話(huà)就非常的麻煩了，而且我不想破壞數(shù)據(jù)的原有格式，那么可以選擇保存為文件。

如下所示：保存文件會(huì)遇到種種的麻煩問(wèn)題。

# 這是我想要保存的一段數(shù)據(jù)
lst = ['A', 'B', 'C']
# 直接使用open函數(shù)不能將非字符串和非字節(jié)流的數(shù)據(jù)寫(xiě)入文件
with open('data.txt', 'w', encoding='UTF-8') as fp :
    fp.write(lst)
# ?。。?TypeError
# 將數(shù)據(jù)變成字符串就破壞了原有的數(shù)據(jù)結(jié)構(gòu)（如果很復(fù)雜的數(shù)據(jù)結(jié)構(gòu)幾乎沒(méi)有復(fù)原的可能性）
lst = str(lst)
# 將數(shù)據(jù)變成字節(jié)流：只能將字符串變成字節(jié)流數(shù)據(jù)！

現(xiàn)在就可以使用序列化功能，將數(shù)據(jù)序列化成為字節(jié)流的格式，然后存在文件當(dāng)中，當(dāng)需要的時(shí)候，再?gòu)奈募凶x取出來(lái)，然后反序列化成為數(shù)據(jù)原來(lái)的樣子，而且保證原數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)沒(méi)有變化。

而且可以序列化語(yǔ)言當(dāng)中的任何數(shù)據(jù)類(lèi)型，就是說(shuō)不止是基本的數(shù)據(jù)類(lèi)型，還有函數(shù)、類(lèi)、對(duì)象……

dumps & loads

dumps將任意對(duì)象序列化成bytes數(shù)據(jù)，loads將序列化成為bytes的數(shù)據(jù)反序列成數(shù)據(jù)原本的格式。

注意：只能反序列化被序列化的數(shù)據(jù)

import pickle

# 這是我想要保存的一段數(shù)據(jù)
lst = ['A', 'B', 'C']

# dumps 把任意對(duì)象序列化成bytes
res = pickle.dumps(lst)
print(res)  # b'\x80\x03]q\x00(X\x01\x00\x00\x00Aq\x01X\x01\x00\x00\x00Bq\x02X\x01\x00\x00\x00Cq\x03e.'
print(type(res))  # <class 'bytes'>
# 序列化后的bytes數(shù)據(jù)可以寫(xiě)入文件中。

# loads 把任意bytes反序列化成為原來(lái)的數(shù)據(jù)
lst = pickle.loads(res)
print(lst)  # ['A', 'B', 'C']
print(type(lst))  # <class 'list'>

# 嘗試反序列化其它的bytes數(shù)據(jù)
char = '你好'
by_char = char.encode()
new_char = pickle.loads(by_char)  # _pickle.UnpicklingError: invalid load key, '\xe4'.

dump & load

含義和上述的相同，只是這個(gè)可以直接操作IO對(duì)象，省時(shí)省力。

import pickle

# 這是我想要保存的一段數(shù)據(jù)
lst = ['A', 'B', 'C']

# dumps 和 loads 配合文件操作
# 序列化后寫(xiě)入文件
with open('test.txt', 'wb') as fp:
    data = pickle.dumps(lst)
    fp.write(data)
# 讀取文件反序列化
with open('test.txt', 'rb') as fp:
    data = fp.read()
    lst = pickle.loads(data)

# dump 和 load 配合文件操作
# 序列化寫(xiě)入文件
with open('test.txt', 'wb') as fp:
    pickle.dump(lst, fp)
# 讀取文件反序列化
with open('test.txt', 'rb') as fp:
    lst = pickle.load(fp)

JSON序列化模塊

import json

使用場(chǎng)景

序列化后的數(shù)據(jù)，如果想在多種語(yǔ)言中都可以流通怎么辦？每種語(yǔ)言都有自己的語(yǔ)言特性，有些語(yǔ)言中的數(shù)據(jù)是特有的，那么序列化后的數(shù)據(jù)該怎么流通呢？

每種語(yǔ)言雖然各有自己的特點(diǎn)，但是幾乎所以的語(yǔ)言都是師出同門(mén)，天下語(yǔ)言無(wú)不出C者。所以將每種語(yǔ)言共同存在的數(shù)據(jù)格式按照統(tǒng)一的標(biāo)準(zhǔn)去序列化就可以了，JSON誕生了。

json一般存儲(chǔ)為json文件。

支持的數(shù)據(jù)類(lèi)型

python中支持JSON序列化的數(shù)據(jù)一共有八種類(lèi)型：

int、float、bool、str、list、tuple、dict、None

JSON序列化支持這幾種數(shù)據(jù)類(lèi)型是因?yàn)镴SON中就只支持這幾種數(shù)據(jù)類(lèi)型：

如下為python中的數(shù)據(jù)類(lèi)型對(duì)應(yīng)json中的數(shù)據(jù)類(lèi)型；

注意：

1. JSON中沒(méi)有元組類(lèi)型，所以會(huì)變成列表；

2. JSON中的對(duì)象必須使用字符串作為鍵，所以python中的字典數(shù)據(jù)中的非字符串鍵，會(huì)變成對(duì)應(yīng)的JSON數(shù)據(jù)然后強(qiáng)轉(zhuǎn)成為字符串；

import json
dict_var = {1: 1, 2.2: 2.2, False: True, '123': '123', "234": "234", None: None}
json_obj = json.dumps(dict_var)
dict_var = json.loads(json_obj)
print(dict_var)
# {'1': 1, '2.2': 2.2, 'false': True, '123': '123', '234': '234', 'null': None}

JSON和pickle的區(qū)別

JSON可以序列化python八種數(shù)據(jù)，序列化為字符串。

pickle可以序列化python所有的數(shù)據(jù)類(lèi)型，序列化為字節(jié)流。

序列化函數(shù)

JSON序列化函數(shù)和pickle的一樣，名稱(chēng)和使用方法基本一樣：

這里注意一下序列化方法的幾個(gè)常用參數(shù)：

ensure_asscii 默認(rèn)為T(mén)rue， 以ACSII格式編碼，以Unicode顯示；

sort_keys 默認(rèn)為T(mén)rue， 對(duì)字典的鍵進(jìn)行排序；

indent默認(rèn)為None， json格式化默認(rèn)是一行不加縮進(jìn)的，如果indent是一個(gè)正整數(shù)，就以該縮進(jìn)級(jí)別進(jìn)行換行，增強(qiáng)可視化。

import json
# 開(kāi)啟排序
dict_var = {'B': '2', 'A': '1'}
print(dict_var)  # {'B': '2', 'A': '1'}
json_char = json.dumps(dict_var, ensure_ascii=False, sort_keys=True)
dict_var = json.loads(json_char)
print(dict_var)  # {'A': '1', 'B': '2'}
# 關(guān)閉排序
dict_var = {'B': '2', 'A': '1'}
print(dict_var)  # {'B': '2', 'A': '1'}
json_char = json.dumps(dict_var, ensure_ascii=False, sort_keys=False)
dict_var = json.loads(json_char)
print(dict_var)  # {'B': '2', 'A': '1'}
# dump 也一樣哦

json和pickle實(shí)際使用過(guò)程中的一些問(wèn)題

在對(duì)文件進(jìn)行操作的時(shí)候：

1. json可以連續(xù)dump，但是不能連續(xù)load

2. pickle可以連續(xù)dump和load

如下解釋?zhuān)?/p>

# json 可以連續(xù)dump，但是不能連續(xù)load
import json
# 序列化數(shù)據(jù)
lst1 = [1, 2, 3]
lst2 = [4, 5, 6]
lst3 = [7, 8, 9]
# 序列化寫(xiě)入文件
with open('test.json', 'w', encoding='UTF-8') as fp:
    json.dump(lst1, fp)
    json.dump(lst2, fp)
    json.dump(lst3, fp)
# 讀取文件反序列化
with open('test.json', 'r', encoding='UTF-8') as fp:
    data1 = json.load(fp)  # ERROR
    data2 = json.load(fp)
    data3 = json.load(fp)
# ?。?！ json.decoder.JSONDecodeError: Extra data: line 1 column 10 (char 9)

因?yàn)?json.dump 方法序列化寫(xiě)入文件的時(shí)候，寫(xiě)入了兩個(gè)及以上的數(shù)據(jù)，之后 json.load 方法在讀的時(shí)候又是一次性將整個(gè)文件中的數(shù)據(jù)讀取出來(lái)，這個(gè)時(shí)候，反序列化的數(shù)據(jù)成了 [1, 2, 3][4, 5, 6][7, 8, 9] ，這明顯不是一個(gè)json支持的數(shù)據(jù)格式，所以 json.load 失敗了。

再來(lái)看pickle是怎么樣的：

# pickle 可以連續(xù)dump，也可以連續(xù)load
import pickle
# 序列化數(shù)據(jù)
lst1 = [1, 2, 3]
lst2 = [4, 5, 6]
lst3 = [7, 8, 9]
# 序列化寫(xiě)入文件
with open('pickle.txt', 'wb') as fp:
    pickle.dump(lst1, fp)
    pickle.dump(lst2, fp)
    pickle.dump(lst3, fp)
# 讀取文件反序列化
with open('pickle.txt', 'rb') as fp:
    data1 = pickle.load(fp)  # [1, 2, 3]
    print(data1)
    data2 = pickle.load(fp)  # [4, 5, 6]
    print(data2)
    data3 = pickle.load(fp)  # [7, 8, 9]
    print(data3)
# 嘗試先逐行讀取，再反序列化
with open('pickle.txt', 'rb') as fp:
    datum = fp.readlines()
    print(len(datum))  # 1
    
    for data in datum:
        data = pickle.loads(data)
        print(data)  # [1, 2, 3]   # 只能讀出一個(gè)

可以看到 pickle.load 將數(shù)據(jù)都讀出來(lái)了，這是因?yàn)?pickle.dump 在寫(xiě)入數(shù)據(jù)的時(shí)候在每條數(shù)據(jù)后都加上了一個(gè)標(biāo)記（有些人解釋說(shuō)是換行，但是文件中并沒(méi)有換行，逐行使用 fp.readlines 逐行讀取的時(shí)候也只能獲取一條，但是在文件中所有的數(shù)據(jù)都是在同一行的，我也不太懂了(無(wú)奈)），然后 pickle.load 每次就只會(huì)讀一條數(shù)據(jù)，從IO指針讀到每條數(shù)據(jù)后的那個(gè)標(biāo)記為止，所以，pickle 可以連續(xù)的 load。

怎么解決json的這個(gè)問(wèn)題？

其實(shí)上面的這個(gè)問(wèn)題，我個(gè)人認(rèn)為是一種不規(guī)范的操作。因?yàn)?json.load 會(huì)一次性的讀取整個(gè)文件中的內(nèi)容，你卻在一個(gè)文件中寫(xiě)入了不止一條的數(shù)據(jù)，那么在反序列化的時(shí)候當(dāng)然會(huì)報(bào)錯(cuò)了。所以我認(rèn)為：

json的主要作用多語(yǔ)言之前的數(shù)據(jù)傳遞和數(shù)據(jù)存儲(chǔ)，每個(gè)JSON文件中最好只儲(chǔ)存一條完整的數(shù)據(jù)。

但是我就想在一個(gè)json文件中存多個(gè)數(shù)據(jù)呢？

其實(shí)思路很簡(jiǎn)單，關(guān)鍵就是讀取文件然后反序列化的時(shí)候，必須是一條數(shù)據(jù)、一條數(shù)據(jù)的反序列化，類(lèi)似如下：

import json
# 序列化數(shù)據(jù)
lst1 = [1, 2, 3]
lst2 = [4, 5, 6]
lst3 = [7, 8, 9]
# 序列化寫(xiě)入文件，每寫(xiě)入一條數(shù)據(jù)插一個(gè)換行
with open('test.json', 'w', encoding='UTF-8') as fp:
    json.dump(lst1, fp)
    fp.write('\n')
    json.dump(lst2, fp)
    fp.write('\n')
    json.dump(lst3, fp)
# 讀取文件反序列化（逐行讀取數(shù)據(jù)，然后反序列化）
with open('test.json', 'r', encoding='UTF-8') as fp:
    datum = fp.readlines()
    print(len(datum))  # 3
    for data in datum:
        data = json.loads(data)
        print(data)  # [1, 2, 3]
                     # [4, 5, 6]
                     # [7, 8, 9]

pickle和json的區(qū)別總結(jié)

• json序列化后的數(shù)據(jù)為字符串，pickle序列化后的數(shù)據(jù)為字節(jié)流；

• json支持八種數(shù)據(jù)類(lèi)型(int、float、bool、str、list、tuple、dict、None)，pickle支持python的一切數(shù)據(jù)類(lèi)型；

• json一般用于多語(yǔ)言間的數(shù)據(jù)交流，pickle一般用于python之間數(shù)據(jù)交流；

讀到這里，這篇“Python的pickle序列化和JSON序列化實(shí)例分析”文章已經(jīng)介紹完畢，想要掌握這篇文章的知識(shí)點(diǎn)還需要大家自己動(dòng)手實(shí)踐使用過(guò)才能領(lǐng)會(huì)，如果想了解更多相關(guān)內(nèi)容的文章，歡迎關(guān)注億速云行業(yè)資訊頻道。