Python高級(jí)技巧之怎么用一行代碼減少一半內(nèi)存占用

本篇內(nèi)容介紹了“Python高級(jí)技巧之怎么用一行代碼減少一半內(nèi)存占用”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

圖片的結(jié)果

下面我來(lái)解釋一下，它是如何運(yùn)行的。

首先，我們考慮一個(gè)簡(jiǎn)單的 "learning" 例子，創(chuàng)建一個(gè) Dataltem  類(lèi)，該類(lèi)是一個(gè)人的個(gè)人信息，例如姓名，年齡，地址等。

class DataItem(object):     def __init__(self, name, age, address):         self.name = name         self.age = age         self.address = address

初學(xué)者的問(wèn)題：如何知道一個(gè)以上這樣的對(duì)象占用多少內(nèi)存？

首先，讓我們?cè)囍鉀Q一下：

d1 = DataItem("Alex", 42, "-")  print ("sys.getsizeof(d1):", sys.getsizeof(d1))

我們得到的答案是 56bytes，這似乎占用了很少的內(nèi)存，相當(dāng)滿(mǎn)意嘍。那么，我們?cè)趪L試另一個(gè)包含更多數(shù)據(jù)的對(duì)象例子：

d2 = DataItem("Boris", 24, "In the middle of nowhere")  print ("sys.getsizeof(d2):", sys.getsizeof(d2))

答案仍然是 56bytes，此刻，似乎我們意識(shí)到哪里有些不對(duì)？并不是所有的事情都第一眼所見(jiàn)那樣。

•  直覺(jué)不會(huì)讓我們失望，一切都不是那么簡(jiǎn)單。Python 是一種具有動(dòng)態(tài)類(lèi)型的非常靈活的語(yǔ)言，對(duì)于它的工作，它存儲(chǔ)了大量的附加數(shù)據(jù)。它們本身占據(jù)了很多。

例如，sys.getsizeof("") 返回 33bytes，是的一個(gè)多達(dá) 33 個(gè)字節(jié)的空行！并且 sys.getsizeof(1) 返回 24bytes，一個(gè)整個(gè)數(shù)字占用 24 個(gè) bytes (我想咨詢(xún) C 語(yǔ)言程序員，遠(yuǎn)離屏幕，不想在進(jìn)一步閱讀，以免對(duì)美觀失去信心)。對(duì)于更復(fù)雜的元素，如字典，sys.getsizeof(.()) 返回 272 字節(jié)，這是針對(duì)空字典的，我不會(huì)再繼續(xù)了，我希望原理是明確的，并且 RAM 的制造商需要出售他們的芯片。

但是，我們回到我們的 DataItem 類(lèi)和最初的初學(xué)者的疑惑。

這個(gè)類(lèi)，占多少內(nèi)存？

首先，我們一小寫(xiě)的形式將這個(gè)類(lèi)的完整內(nèi)容輸出：

def dump(obj):   for attr in dir(obj):     print("  obj.%s = %r" % (attr, getattr(obj, attr)))

這個(gè)函數(shù)將顯示隱藏的“幕后”使所有 Python 函數(shù)（類(lèi)型、繼承和其他內(nèi)容）都能夠正常工作的內(nèi)容。

結(jié)果令人印象深刻：

這一切內(nèi)容占用多少內(nèi)存？

下邊有一個(gè)函數(shù)可以通過(guò)遞歸的方式，調(diào)用 getsizeof 函數(shù)，計(jì)算對(duì)象實(shí)際數(shù)據(jù)量。

def get_size(obj, seen=None):     # From      # Recursively finds size of objects     size = sys.getsizeof(obj)     if seen is None:         seen = set()     obj_id = id(obj)     if obj_id in seen:         return 0  # Important mark as seen *before* entering recursion to gracefully handle     # self-referential objects     seen.add(obj_id)     if isinstance(obj, dict):       size += sum([get_size(v, seen) for v in obj.values()])       size += sum([get_size(k, seen) for k in obj.keys()])     elif hasattr(obj, '__dict__'):       size += get_size(obj.__dict__, seen)     elif hasattr(obj, '__iter__') and not isinstance(obj, (str, bytes, bytearray)):       size += sum([get_size(i, seen) for i in obj])     return size

讓我們?cè)囈辉嚕?/p>

d1 = DataItem("Alex", 42, "-")  print ("get_size(d1):", get_size(d1))  d2 = DataItem("Boris", 24, "In the middle of nowhere")  print ("get_size(d2):", get_size(d2))

我們獲得的答案分別為 460bytes 和 484bytes，這結(jié)果似乎是真實(shí)的。

使用這個(gè)函數(shù)，你可以進(jìn)行一系列的實(shí)驗(yàn)。例如，我想知道如果 DataItem 結(jié)構(gòu)放在列表中，數(shù)據(jù)將占用多少空間。get_size ([d1]) 函數(shù)返回 532bytes ,顯然，這與上面說(shuō)的 460+ 的開(kāi)銷(xiāo)相同。但是 get_size ([d1, d2]) 返回 863bytes ,小于以上的 460 + 484。get_size ([d1, d2, d1]) 的結(jié)果更有趣——我們得到了 871 字節(jié)，只是稍微多一點(diǎn)，也就是說(shuō) Python 足夠聰明，不會(huì)再次為同一個(gè)對(duì)象分配內(nèi)存。

現(xiàn)在，我們來(lái)看一看問(wèn)題的第二部分。

是否存在減少內(nèi)存開(kāi)銷(xiāo)的可能呢？

是的,可以的。Python 是一個(gè)解釋器，我們可以在任何時(shí)候擴(kuò)展我們的類(lèi)，例如，添加一個(gè)新的字段:

d1 = DataItem("Alex", 42, "-")  print ("get_size(d1):", get_size(d1))  d1.weight = 66  print ("get_size(d1):", get_size(d1))

非常好，但是如果我們不需要這個(gè)功能呢？我們能強(qiáng)制解釋器來(lái)指定類(lèi)的列表對(duì)象使用 __slots__ 命令：

class DataItem(object):     __slots__ = ['name', 'age', 'address']    def __init__(self, name, age, address):         self.name = name        self.age = age         self.address = address

更多信息可以在文檔 (RTFM) 中找到，其中寫(xiě)到 “__ dict__和__weakref__”。使用 __dict__ 節(jié)省的空間非常大”。

我們確認(rèn)：是的，確實(shí)很重要，get_size (d1) 返回 …64 字節(jié)，而不是 460 字節(jié)，即少 7 倍。另外，創(chuàng)建對(duì)象的速度要快 20% (請(qǐng)參閱本文的第一個(gè)屏幕截圖)。

唉，真正使用如此大的內(nèi)存增益并不是因?yàn)槠渌_(kāi)銷(xiāo)。通過(guò)簡(jiǎn)單地添加元素，創(chuàng)建一個(gè) 100,000 的數(shù)組，并查看內(nèi)存消耗:

data = []  for p in range(100000):     data.append(DataItem("Alex", 42, "middle of nowhere"))  snapshot = tracemalloc.take_snapshot()  top_stats = snapshot.statistics('lineno')  total = sum(stat.size for stat in top_stats)  print("Total allocated size: %.1f MB" % (total / (1024*1024)))

我們不使用 __slots__ 占用內(nèi)存 16.8MB，使用時(shí)占用 6.9MB。這個(gè)操作當(dāng)然不是最好的，但是確實(shí)代碼改變的最小的。（Not 7 times of course, but it’s not bad at all, considering that the code change was minimal.）

現(xiàn)在的缺點(diǎn)。激活 __slots__ 禁止所有元素的創(chuàng)建,包括 __dict__ ,這意味著,例如,一下代碼將結(jié)構(gòu)轉(zhuǎn)換成 json 將不運(yùn)行:

def toJSON(self):         return json.dumps(self.__dict__)

這個(gè)問(wèn)題很容易修復(fù),它是足以產(chǎn)生 dict 編程方式,通過(guò)所有元素的循環(huán):

def toJSON(self):         data = dict()         for var in self.__slots__:             data[var] = getattr(self, var)         return json.dumps(data)

也不可能動(dòng)態(tài)給這個(gè)類(lèi)添加新類(lèi)變量,但是在這個(gè)例子中,這并不是必需的。

今天的最后一個(gè)測(cè)試。有趣的是整個(gè)程序需要多少內(nèi)存。添加一個(gè)無(wú)限循環(huán)的程序,以便它不結(jié)束,看看 Windows 任務(wù)管理器中的內(nèi)存消耗。

沒(méi)有 __slots__:

6.9Mb 變成 27Mb … 好家伙, 畢竟, 我們節(jié)省了內(nèi)存, 27Mb 代替 70 ，對(duì)于增加一行代碼來(lái)說(shuō)并不是一個(gè)壞的例子

注意：TraceMelc 調(diào)試庫(kù)使用了許多附加內(nèi)存。顯然，她為每個(gè)創(chuàng)建的對(duì)象添加了額外的元素。如果關(guān)閉它，總的內(nèi)存消耗將少得多，截屏顯示兩個(gè)選項(xiàng)：

如果你想節(jié)省更多的內(nèi)存呢？

這可以使用 numpy 庫(kù)，它允許您以 C 樣式創(chuàng)建結(jié)構(gòu)，但是在我的例子中，它需要對(duì)代碼進(jìn)行更深入的細(xì)化，并且第一種方法就足夠了。

奇怪的是在 Habré 從來(lái)沒(méi)有詳細(xì)分析使用 __slots__, 我希望本文將填補(bǔ)這一空缺。

“Python高級(jí)技巧之怎么用一行代碼減少一半內(nèi)存占用”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！