Python爬蟲的并發(fā)編程如何應(yīng)用

這篇文章主要講解了“Python爬蟲的并發(fā)編程如何應(yīng)用”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Python爬蟲的并發(fā)編程如何應(yīng)用”吧！

什么是并發(fā)編程

并發(fā)編程是指在一個(gè)時(shí)間段內(nèi)，能夠執(zhí)行多個(gè)操作的程序設(shè)計(jì)，通常表現(xiàn)為程序中有多個(gè)任務(wù)同時(shí)啟動(dòng)，可以運(yùn)行并且相互之間不會(huì)產(chǎn)生影響。并發(fā)編程的好處是可以提高程序的性能和響應(yīng)能力。

并發(fā)編程在爬蟲中的應(yīng)用

爬蟲程序是典型的 I/O 密集型任務(wù)，對(duì)于 I/O 密集型任務(wù)來說，多線程和異步 I/O 都是很好的選擇，因?yàn)楫?dāng)程序的某個(gè)部分因 I/O 操作阻塞時(shí)，程序的其他部分仍然可以運(yùn)轉(zhuǎn)，這樣我們不用在等待和阻塞中浪費(fèi)大量的時(shí)間。

單線程版本

我們首先來看單線程版本的爬蟲程序。這個(gè)爬蟲程序使用了requests庫獲取 JSON 數(shù)據(jù)，并通過open函數(shù)將圖片保存到本地。

"""
example04.py - 單線程版本爬蟲
"""
import os
import requests
def download_picture(url):
    filename = url[url.rfind('/') + 1:]
    resp = requests.get(url)
    if resp.status_code == 200:
        with open(f'images/beauty/{filename}', 'wb') as file:
            file.write(resp.content)
def main():
    if not os.path.exists('images/beauty'):
        os.makedirs('images/beauty')
    for page in range(3):
        resp = requests.get(f'<https://image.so.com/zjl?ch=beauty&sn=>{page * 30}')
        if resp.status_code == 200:
            pic_dict_list = resp.json()['list']
            for pic_dict in pic_dict_list:
                download_picture(pic_dict['qhimg_url'])
if __name__ == '__main__':
    main()

在 macOS 或 Linux 系統(tǒng)上，我們可以使用time命令來了解上面代碼的執(zhí)行時(shí)間以及 CPU 的利用率，如下所示。

time python3 example04.py

下面是單線程爬蟲代碼在我的電腦上執(zhí)行的結(jié)果。

python3 example04.py  2.36s user 0.39s system 12% cpu 21.578 total

這里我們只需要關(guān)注代碼的總耗時(shí)為21.578秒，CPU 利用率為12%。

多線程版本

我們使用之前講到過的線程池技術(shù)，將上面的代碼修改為多線程版本。

"""
example05.py - 多線程版本爬蟲
"""
import os
from concurrent.futures import ThreadPoolExecutor
import requests
def download_picture(url):
    filename = url[url.rfind('/') + 1:]
    resp = requests.get(url)
    if resp.status_code == 200:
        with open(f'images/beauty/{filename}', 'wb') as file:
            file.write(resp.content)
def main():
    if not os.path.exists('images/beauty'):
        os.makedirs('images/beauty')
    with ThreadPoolExecutor(max_workers=16) as pool:
        for page in range(3):
            resp = requests.get(f'<https://image.so.com/zjl?ch=beauty&sn=>{page * 30}')
            if resp.status_code == 200:
                pic_dict_list = resp.json()['list']
                for pic_dict in pic_dict_list:
                    pool.submit(download_picture, pic_dict['qhimg_url'])
if __name__ == '__main__':
    main()

執(zhí)行如下所示的命令。

time python3 example05.py

代碼的執(zhí)行結(jié)果如下所示：

python3 example05.py  2.65s user 0.40s system 95% cpu 3.193 total

異步I/O版本

我們使用aiohttp將上面的代碼修改為異步 I/O 的版本。為了以異步 I/O 的方式實(shí)現(xiàn)網(wǎng)絡(luò)資源的獲取和寫文件操作，我們首先得安裝三方庫aiohttp和aiofile。

pip install aiohttp aiofile

下面是異步 I/O 版本的爬蟲代碼。

"""
example06.py - 異步I/O版本爬蟲
"""
import asyncio
import json
import os
import aiofile
import aiohttp
async def download_picture(session, url):
    filename = url[url.rfind('/') + 1:]
    async with session.get(url, ssl=False) as resp:
        if resp.status == 200:
            data = await resp.read()
            async with aiofile.async_open(f'images/beauty/{filename}', 'wb') as file:
                await file.write(data)
async def main():
    if not os.path.exists('images/beauty'):
        os.makedirs('images/beauty')
    async with aiohttp.ClientSession() as session:
        tasks = []
        for page in range(3):
            resp = await session.get(f'<https://image.so.com/zjl?ch=beauty&sn=>{page * 30}')
            if resp.status == 200:
                pic_dict_list = (await resp.json())['list']
                for pic_dict in pic_dict_list:
                    tasks.append(asyncio.ensure_future(download_picture(session, pic_dict['qhimg_url'])))
        await asyncio.gather(*tasks)
if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

執(zhí)行如下所示的命令。

time python3 example06.py

代碼的執(zhí)行結(jié)果如下所示：

python3 example06.py  0.92s user 0.27s system 290% cpu 0.420 total

相對(duì)于單線程版本的爬蟲程序，多線程版本和異步 I/O 版本的爬蟲程序在執(zhí)行上的時(shí)間上有了顯著的提升，而且異步 I/O 版本的爬蟲程序表現(xiàn)最佳。

感謝各位的閱讀，以上就是“Python爬蟲的并發(fā)編程如何應(yīng)用”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)Python爬蟲的并發(fā)編程如何應(yīng)用這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！