python內(nèi)存監(jiān)控工具memory_profiler和guppy的用法詳解

python2.7在內(nèi)存管理上相比python3還是有些坑的，其釋放后的內(nèi)存仍然保留在python的內(nèi)存池中，不被系統(tǒng)所用。python循環(huán)引用的變量不會(huì)被回收，這會(huì)導(dǎo)致程序越運(yùn)行，占用的內(nèi)存越大。我在跑py-faster-rcnn的demo時(shí)，基本上跑2000張圖像，16g內(nèi)存就要爆了。于是嘗試用python的內(nèi)存監(jiān)控工具來(lái)調(diào)試程序，找到不能膨脹的變量，然后del之，再手動(dòng)回收內(nèi)存gc.collec（）

下面是我用的兩個(gè)內(nèi)存監(jiān)視工具，一個(gè)是按每行代碼查看內(nèi)存占用的工具memory_profiler，一個(gè)是查看占用內(nèi)存前十位變量的工具guppy。

1. memory_profiler

首先是安裝：

pip install -U memory_profiler

然后用profile修飾想要查看的函數(shù)名：如：

@profile
def my_func():
 a = [1] * (10 ** 6)
 b = [2] * (2 * 10 ** 7)
 del b
 return a

if __name__ == '__main__':
 my_func()

輸出結(jié)果:

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

memory_profiler功能強(qiáng)大，更多功能可以看官網(wǎng)這里

2. guppy

首先安裝：

pip install guppy

然后import下

from guppy import hpy
hxx = hpy()
heap = hxx.heap()
byrcs = hxx.heap().byrcs;

在主程序下增加：

print(heap)

輸出示例：

Index Count %  Size % Cumulative % Kind (class / dict of class)
  0 10124 22 81944416 95 81944416 95 list
  1 16056 34 1325464 2 83269880 96 str
  2 9147 20 745616 1 84015496 97 tuple
  3 102 0 366480 0 84381976 98 dict of module
  4 287 1 313448 0 84695424 98 dict of type
  5 2426 5 310528 0 85005952 98 types.CodeType
  6 2364 5 283680 0 85289632 99 function
  7 287 1 256960 0 85546592 99 type
  8 169 0 192088 0 85738680 99 dict (no owner)
  9 123 0 142728 0 85881408 99 dict of class

可以看到第一個(gè)list占了95%的內(nèi)存，若print（heap）在主程序的循環(huán)中，可以查看每次循環(huán)后的變量?jī)?nèi)存占用情況。

輸入以下命令，查看這個(gè)占內(nèi)存最大的list中的數(shù)據(jù)類型：
byrcs[0].byid

最后測(cè)試后發(fā)現(xiàn)，test.py下get_im_blob等函數(shù)占用內(nèi)存不斷增大，每檢測(cè)一副圖像，該函數(shù)增加6-10MB內(nèi)存開(kāi)銷。但奇怪的是用guppy查看前十個(gè)變量，并沒(méi)有發(fā)現(xiàn)哪個(gè)變量有明顯的內(nèi)存增大跡象。于是猜測(cè)可能是每張圖像推理后，推理的結(jié)果bbox，label，img等數(shù)據(jù)保存在了內(nèi)存中，這樣方便所有圖像推理結(jié)束后，plt.show（）.于是修改程序，每張圖像推理后，plt.show（）一下。用memory_profiler發(fā)現(xiàn)內(nèi)存不再繼續(xù)增大，interesting！其實(shí)把plt.show()改成plt.close()也可以防止內(nèi)存不斷增大。具體原因肯定是python 的內(nèi)存回收機(jī)制規(guī)則導(dǎo)致的。

總結(jié)

以上所述是小編給大家介紹的python內(nèi)存監(jiān)控工具memory_profiler和guppy的用法詳解,希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)億速云網(wǎng)站的支持！
如果你覺(jué)得本文對(duì)你有幫助，歡迎轉(zhuǎn)載，煩請(qǐng)注明出處，謝謝！