溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
小編給大家分享一下python一次性下載多個(gè)文件的方法，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！
Python 批量文件下載
所謂批量下載，當(dāng)然不是一個(gè)一個(gè)文件的下載了，比如說我們要下載百度圖片，如果一個(gè)一個(gè)下載會(huì)出現(xiàn)兩種負(fù)面情況：
·如果某個(gè)請求堵塞，整個(gè)隊(duì)列都會(huì)被堵塞；
·如果是小文件，單線程下載太慢。
我們的解決方案是使用異步策略。如果你會(huì)用scrapy框架，那就輕松許多了，因?yàn)樗Y(jié)合了twisted異步驅(qū)動(dòng)架構(gòu)，根本不需要你自己寫異步。實(shí)現(xiàn)異步下載的方法：
我們需要使用到兩個(gè)包，一個(gè)是asyncio、一個(gè)是aiohttp。asyncio是Python3的原裝庫，但是aiohttp則需要各位使用cmd/Terminal打開，輸入以下命令安裝：
pip install aiohttp
注意：asyncio是單進(jìn)程并發(fā)庫，不是多線程，也不是多進(jìn)程，單純是在一個(gè)進(jìn)程里面異步（切來切去運(yùn)行），切換的地方用await標(biāo)記，能夠切換的函數(shù)用async標(biāo)記。比如下載異步批量下載兩個(gè)圖片的代碼如下：
Python異步批量下載
注意：img = await session.get(url)
這時(shí)候，在你請求第一個(gè)圖片獲得數(shù)據(jù)的時(shí)候，它會(huì)切換請求第二個(gè)圖片或其他圖片，等第一個(gè)圖片獲得所有數(shù)據(jù)后再切換回來。從而實(shí)現(xiàn)多線程批量下載的功能，速度超快，下載超清大圖用這個(gè)方法可以一秒一張。
看完了這篇文章，相信你對python一次性下載多個(gè)文件的方法有了一定的了解，想了解更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機(jī)網(wǎng)站二維碼
