您好,登錄后才能下訂單哦!
本篇內(nèi)容介紹了“怎么用Python快速下載大文件”的有關(guān)知識(shí),在實(shí)際案例的操作過程中,不少人都會(huì)遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!
使用以下流式代碼,無論下載文件的大小如何,Python 內(nèi)存占用都不會(huì)增加:
def download_file(url): local_filename = url.split('/')[-1] # 注意傳入?yún)?shù) stream=True with requests.get(url, stream=True) as r: r.raise_for_status() with open(local_filename, 'wb') as f: for chunk in r.iter_content(chunk_size=8192): f.write(chunk) return local_filename
如果你有對(duì) chunk 編碼的需求,那就不該傳入 chunk_size 參數(shù),且應(yīng)該有 if 判斷。
def download_file(url): local_filename = url.split('/')[-1] # 注意傳入?yún)?shù) stream=True with requests.get(url, stream=True) as r: r.raise_for_status() with open(local_filename, 'w') as f: for chunk in r.iter_content(): if chunk: f.write(chunk.decode("utf-8")) return local_filename
iter_content[1] 函數(shù)本身也可以解碼,只需要傳入?yún)?shù) decode_unicode = True 即可。另外,搜索公眾號(hào)頂級(jí)Python后臺(tái)回復(fù)“進(jìn)階”,獲取一份驚喜禮包。
請注意,使用 iter_content 返回的字節(jié)數(shù)并不完全是 chunk_size,它是一個(gè)通常更大的隨機(jī)數(shù),并且預(yù)計(jì)在每次迭代中都會(huì)有所不同。
使用 Response.raw[2] 和 shutil.copyfileobj[3]
import requests import shutil def download_file(url): local_filename = url.split('/')[-1] with requests.get(url, stream=True) as r: with open(local_filename, 'wb') as f: shutil.copyfileobj(r.raw, f) return local_filename
這將文件流式傳輸?shù)酱疟P而不使用過多的內(nèi)存,并且代碼更簡單。
注意:根據(jù)文檔,Response.raw 不會(huì)解碼,因此如果需要可以手動(dòng)替換 r.raw.read 方法
response.raw.read = functools.partial(response.raw.read, decode_content=True)
方法二更快。方法一如果 2-3 MB/s 的話,方法二可以達(dá)到近 40 MB/s。
“怎么用Python快速下載大文件”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。