您好,登錄后才能下訂單哦!
今天小編給大家分享一下Python3怎么使用tracemalloc實現(xiàn)追蹤mmap內(nèi)存變化的相關(guān)知識點,內(nèi)容詳細(xì),邏輯清晰,相信大部分人都還太了解這方面的知識,所以分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后有所收獲,下面我們一起來了解一下吧。
在前面一篇博客中我們介紹了一些用python3處理表格數(shù)據(jù)的方法,其中重點包含了vaex這樣一個大規(guī)模數(shù)據(jù)處理的方案。這個數(shù)據(jù)處理的方案是基于內(nèi)存映射(memory map)的技術(shù),通過創(chuàng)建內(nèi)存映射文件來避免在內(nèi)存中直接加載源數(shù)據(jù)而導(dǎo)致的大規(guī)模內(nèi)存占用問題,這使得我們可以在本地電腦內(nèi)存規(guī)模并不是很大的條件下對大規(guī)模的數(shù)據(jù)進(jìn)行處理。python3中提供了mmap這樣一個倉庫,可以直接創(chuàng)建內(nèi)存映射文件。
這里我們希望能夠?qū)Ρ葍?nèi)存映射技術(shù)的實際內(nèi)存占用,因此我們需要引入一個基于python的內(nèi)存追蹤工具:tracemalloc。我們先看一個簡單的案例,創(chuàng)建一個隨機數(shù)組,觀察這個數(shù)組的內(nèi)存占用大?。?/p>
# tracem.py import tracemalloc import numpy as np tracemalloc.start() length=10000 test_array=np.random.randn(length) # 分配一個定長隨機數(shù)組 snapshot=tracemalloc.take_snapshot() # 內(nèi)存攝像 top_stats=snapshot.statistics('lineno') # 內(nèi)存占用數(shù)據(jù)獲取 print ('[Top 10]') for stat in top_stats[:10]: # 打印占用內(nèi)存最大的10個子進(jìn)程 print (stat)
輸出結(jié)果如下:
[dechin@dechin-manjaro mmap]$ python3 tracem.py
[Top 10]
tracem.py:8: size=78.2 KiB, count=2, average=39.1 KiB
假如我們是使用top指令來直接檢測內(nèi)存的話,毫無疑問占比內(nèi)存最高的還是谷歌瀏覽器:
top - 10:04:08 up 6 days, 15:18, 5 users, load average: 0.23, 0.33, 0.27
任務(wù): 309 total, 1 running, 264 sleeping, 23 stopped, 21 zombie
%Cpu(s): 0.6 us, 0.2 sy, 0.0 ni, 99.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
MiB Mem : 39913.6 total, 25450.8 free, 1875.7 used, 12587.1 buff/cache
MiB Swap: 16384.0 total, 16384.0 free, 0.0 used. 36775.8 avail Mem
進(jìn)程號 USER PR NI VIRT RES SHR %CPU %MEM TIME+ COMMAND
286734 dechin 20 0 36.6g 175832 117544 S 4.0 0.4 1:02.32 chromium
因此根據(jù)進(jìn)程號來追蹤子進(jìn)程的內(nèi)存占用才是使用tracemalloc的一個重點,這里我們發(fā)現(xiàn)一個10000大小的numpy矢量的內(nèi)存占用約為39.1 KiB,這其實是符合我們的預(yù)期的:
In [3]: 39.1*1024/4
Out[3]: 10009.6
因為這幾乎就是10000個float32浮點數(shù)的內(nèi)存占用大小,這表明所有的元素都已經(jīng)存儲在內(nèi)存中。
在上面一個章節(jié)中我們介紹了snapshot內(nèi)存快照的使用方法,那么我們很容易可以想到,通過“拍攝”兩張內(nèi)存快照,然后對比一下快照中的變化,不就可以得到內(nèi)存變化的大小么?接下來做一個簡單嘗試:
# comp_tracem.py import tracemalloc import numpy as np tracemalloc.start() snapshot0=tracemalloc.take_snapshot() # 第一張快照 length=10000 test_array=np.random.randn(length) snapshot1=tracemalloc.take_snapshot() # 第二張快照 top_stats=snapshot1.compare_to(snapshot0,'lineno') # 快照對比 print ('[Top 10 differences]') for stat in top_stats[:10]: print (stat)
執(zhí)行結(jié)果如下:
[dechin@dechin-manjaro mmap]$ python3 comp_tracem.py
[Top 10 differences]
comp_tracem.py:9: size=78.2 KiB (+78.2 KiB), count=2 (+2), average=39.1 KiB
可以看到這個快照前后的平均內(nèi)存大小差異就是在39.1 KiB,假如我們把矢量的維度改為1000000:
length=1000000
再執(zhí)行一遍看看效果:
[dechin@dechin-manjaro mmap]$ python3 comp_tracem.py
[Top 10 differences]
comp_tracem.py:9: size=7813 KiB (+7813 KiB), count=2 (+2), average=3906 KiB
我們發(fā)現(xiàn)結(jié)果是3906,相當(dāng)于被放大了100倍,是比較符合預(yù)期的。當(dāng)然如果我們仔細(xì)去算一下:
In [4]: 3906*1024/4
Out[4]: 999936.0
我們發(fā)現(xiàn)這里面并不完全是float32的類型,相比于完全的float32類型缺失了一部分內(nèi)存大小,這里懷疑是否是中間產(chǎn)生了一些0,被自動的壓縮了大?。坎贿^這個問題并不是我們所要重點關(guān)注的,我們繼續(xù)向下測試內(nèi)存的變化曲線。
延續(xù)前面兩個章節(jié)的內(nèi)容,我們主要測試一下不同維度的隨機數(shù)組所需要占用的內(nèi)存空間,在上述代碼模塊的基礎(chǔ)上增加了一個for循環(huán):
# comp_tracem.py import tracemalloc import numpy as np tracemalloc.start() x=[] y=[] multiplier={'B':1,'KiB':1024,'MiB':1048576} snapshot0=tracemalloc.take_snapshot() for length in range(1,1000000,100000): np.random.seed(1) test_array=np.random.randn(length) snapshot1=tracemalloc.take_snapshot() top_stats=snapshot1.compare_to(snapshot0,'lineno') for stat in top_stats[:10]: if 'comp_tracem.py' in str(stat): # 判斷是否屬于當(dāng)前文件所產(chǎn)生的內(nèi)存占用 x.append(length) mem=str(stat).split('average=')[1].split(' ') y.append(float(m曲線em[0])*multiplier[mem[1]]) break import matplotlib.pyplot as plt plt.figure() plt.plot(x,y,'D',color='black',label='Experiment') plt.plot(x,np.dot(x,4),color='red',label='Expect') # float32的預(yù)期占用空間 plt.title('Memery Difference vs Array Length') plt.xlabel('Number Array Length') plt.ylabel('Memory Difference') plt.legend() plt.savefig('comp_mem.png')
畫出來的效果圖如下所示:
這里我們又發(fā)現(xiàn),雖然大部分情況下是符合內(nèi)存占用預(yù)期的,但有很多個點比預(yù)期占用的要少,我們懷疑是因為存在0元素,因此稍微修改了一下代碼,在原代碼的基礎(chǔ)上增加了一個操作來盡可能的避免0的出現(xiàn):
# comp_tracem.py import tracemalloc import numpy as np tracemalloc.start() x=[] y=[] multiplier={'B':1,'KiB':1024,'MiB':1048576} snapshot0=tracemalloc.take_snapshot() for length in range(1,1000000,100000): np.random.seed(1) test_array=np.random.randn(length) test_array+=np.ones(length)*np.pi # 在原數(shù)組基礎(chǔ)上加一個圓周率,內(nèi)存不變 snapshot1=tracemalloc.take_snapshot() top_stats=snapshot1.compare_to(snapshot0,'lineno') for stat in top_stats[:10]: if 'comp_tracem.py' in str(stat): x.append(length) mem=str(stat).split('average=')[1].split(' ') y.append(float(mem[0])*multiplier[mem[1]]) break import matplotlib.pyplot as plt plt.figure() plt.plot(x,y,'D',color='black',label='Experiment') plt.plot(x,np.dot(x,4),color='red',label='Expect') plt.title('Memery Difference vs Array Length') plt.xlabel('Number Array Length') plt.ylabel('Memory Difference') plt.legend() plt.savefig('comp_mem.png')
經(jīng)過更新后,得到的結(jié)果圖如下所示:
雖然不符合預(yù)期的點數(shù)少了,但是這里還是有兩個點不符合預(yù)期的內(nèi)存占用大小,疑似數(shù)據(jù)被壓縮了。
在上面幾個章節(jié)之后,我們已經(jīng)基本掌握了內(nèi)存追蹤技術(shù)的使用,這里我們將其應(yīng)用在mmap內(nèi)存映射技術(shù)上,看看有什么樣的效果。
因為內(nèi)存映射本質(zhì)上是一個對系統(tǒng)文件的讀寫操作,因此這里我們首先將前面用到的numpy數(shù)組存儲到txt文件中:
# write_array.py import numpy as np x=[] y=[] for length in range(1,1000000,100000): np.random.seed(1) test_array=np.random.randn(length) test_array+=np.ones(length)*np.pi np.savetxt('numpy_array_length_'+str(length)+'.txt',test_array)
寫入完成后,在當(dāng)前目錄下會生成一系列的txt文件:
-rw-r--r-- 1 dechin dechin 2500119 4月 12 10:09 numpy_array_length_100001.txt
-rw-r--r-- 1 dechin dechin 25 4月 12 10:09 numpy_array_length_1.txt
-rw-r--r-- 1 dechin dechin 5000203 4月 12 10:09 numpy_array_length_200001.txt
-rw-r--r-- 1 dechin dechin 7500290 4月 12 10:09 numpy_array_length_300001.txt
-rw-r--r-- 1 dechin dechin 10000356 4月 12 10:09 numpy_array_length_400001.txt
-rw-r--r-- 1 dechin dechin 12500443 4月 12 10:09 numpy_array_length_500001.txt
-rw-r--r-- 1 dechin dechin 15000526 4月 12 10:09 numpy_array_length_600001.txt
-rw-r--r-- 1 dechin dechin 17500606 4月 12 10:09 numpy_array_length_700001.txt
-rw-r--r-- 1 dechin dechin 20000685 4月 12 10:09 numpy_array_length_800001.txt
-rw-r--r-- 1 dechin dechin 22500788 4月 12 10:09 numpy_array_length_900001.txt
我們可以用head或者tail查看前n個或者后n個的元素:
[dechin@dechin-manjaro mmap]$ head -n 5 numpy_array_length_100001.txt
4.765938017253034786e+00
2.529836239939717846e+00
2.613420901326337642e+00
2.068624031433622612e+00
4.007000282914471967e+00
前面幾個測試我們是直接在內(nèi)存中生成的numpy的數(shù)組并進(jìn)行內(nèi)存監(jiān)測,這里我們?yōu)榱藝?yán)格對比,統(tǒng)一采用文件讀取的方式,首先我們需要看一下numpy的文件讀取的內(nèi)存曲線如何:
# npopen_tracem.py import tracemalloc import numpy as np tracemalloc.start() x=[] y=[] multiplier={'B':1,'KiB':1024,'MiB':1048576} snapshot0=tracemalloc.take_snapshot() for length in range(1,1000000,100000): test_array=np.loadtxt('numpy_array_length_'+str(length)+'.txt',delimiter=',') snapshot1=tracemalloc.take_snapshot() top_stats=snapshot1.compare_to(snapshot0,'lineno') for stat in top_stats[:10]: if '/home/dechin/anaconda3/lib/python3.8/site-packages/numpy/lib/npyio.py:1153' in str(stat): x.append(length) mem=str(stat).split('average=')[1].split(' ') y.append(float(mem[0])*multiplier[mem[1]]) break import matplotlib.pyplot as plt plt.figure() plt.plot(x,y,'D',color='black',label='Experiment') plt.plot(x,np.dot(x,8),color='red',label='Expect') plt.title('Memery Difference vs Array Length') plt.xlabel('Number Array Length') plt.ylabel('Memory Difference') plt.legend() plt.savefig('open_mem.png')
需要注意的一點是,這里雖然還是使用numpy對文件進(jìn)行讀取,但是內(nèi)存占用已經(jīng)不是名為npopen_tracem.py的源文件了,而是被保存在了npyio.py:1153這個文件中,因此我們在進(jìn)行內(nèi)存跟蹤的時候,需要調(diào)整一下對應(yīng)的統(tǒng)計位置。最后的輸出結(jié)果如下:
由于讀入之后是默認(rèn)以float64來讀取的,因此預(yù)期的內(nèi)存占用大小是元素數(shù)量×8,這里讀入的數(shù)據(jù)內(nèi)存占用是幾乎完全符合預(yù)期的。
伏筆了一大篇幅的文章,最后終于到了內(nèi)存映射技術(shù)的測試,其實內(nèi)存映射模塊mmap的使用方式倒也不難,就是配合os模塊進(jìn)行文件讀取,基本上就是一行的代碼:
# mmap_tracem.py import tracemalloc import numpy as np import mmap import os tracemalloc.start() x=[] y=[] multiplier={'B':1,'KiB':1024,'MiB':1048576} snapshot0=tracemalloc.take_snapshot() for length in range(1,1000000,100000): test_array=mmap.mmap(os.open('numpy_array_length_'+str(length)+'.txt',os.O_RDWR),0) # 創(chuàng)建內(nèi)存映射文件 snapshot1=tracemalloc.take_snapshot() top_stats=snapshot1.compare_to(snapshot0,'lineno') for stat in top_stats[:10]: print (stat) if 'mmap_tracem.py' in str(stat): x.append(length) mem=str(stat).split('average=')[1].split(' ') y.append(float(mem[0])*multiplier[mem[1]]) break import matplotlib.pyplot as plt plt.figure() plt.plot(x,y,'D',color='black',label='Experiment') plt.title('Memery Difference vs Array Length') plt.xlabel('Number Array Length') plt.ylabel('Memory Difference') plt.legend() plt.savefig('mmap.png')
運行結(jié)果如下:
我們可以看到內(nèi)存上是幾乎沒有波動的,因為我們并未把整個數(shù)組加載到內(nèi)存中,而是在內(nèi)存中加載了其內(nèi)存映射的文件。使得我們可以讀取文件中的任何一個位置的byte,但是不用耗費太大的內(nèi)存資源。當(dāng)我們?nèi)バ薷膶懭胛募臅r候需要額外的小心,因為對于內(nèi)存映射技術(shù)來說,byte數(shù)量是需要保持不變的,否則內(nèi)存映射就會發(fā)生錯誤。
以上就是“Python3怎么使用tracemalloc實現(xiàn)追蹤mmap內(nèi)存變化”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家閱讀完這篇文章都有很大的收獲,小編每天都會為大家更新不同的知識,如果還想學(xué)習(xí)更多的知識,請關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。