您好,登錄后才能下訂單哦!
Python 環(huán)境下文件的讀取問題,請參見拙文 Python基礎(chǔ)之文件讀取的講解
這是一道著名的 Python 面試題,考察的問題是,Python 讀取大文件和一般規(guī)模的文件時的區(qū)別,也即哪些接口不適合讀取大文件。
1. read() 接口的問題
f = open(filename, 'rb') f.read()
我們來讀取 1 個 nginx 的日至文件,規(guī)模為 3Gb 大小。read() 方法執(zhí)行的操作,是一次性全部讀入內(nèi)存,顯然會造成:
MemoryError
...
也即會發(fā)生內(nèi)存溢出。
2. 解決方案:轉(zhuǎn)換接口
for line in f.reanlines(): ...
while True: line = f.readline() if not line: break
while True: block = f.read(1024) if not block: break
3. 真正 Pythonic 的方法
真正 Pythonci 的方法,使用 with 結(jié)構(gòu):
with open(filename, 'rb') as f: for line in f: <do something with the line>
對可迭代對象 f,進行迭代遍歷:for line in f
,會自動地使用緩沖IO(buffered IO)以及內(nèi)存管理,而不必擔(dān)心任何大文件的問題。
There should be one – and preferably only one – obvious way to do it.
Reference
How to read large file, line by line in python
總結(jié)
以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,謝謝大家對億速云的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。