Python爬取豆瓣電影方法是什么

本篇內(nèi)容主要講解“Python爬取豆瓣電影方法是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Python爬取豆瓣電影方法是什么”吧!

主要目標

環(huán)境：MAC + Python3.6 ;  IDE： Pycharm. 具體使用的模塊如下。

import requests import re import json

但是如果你的系統(tǒng)上安裝了anaconda，模塊requests已經(jīng)安裝完成，但是pycharm不能識別。此時只需要使用preferences直接進行安裝，入下圖所示，點擊+，直接安裝即可。

爬取分析

對于每一個頁面的爬取，我們使用的requests庫。Requests是用python語言基于urllib編寫的，采用的是Apache2 Licensed開源協(xié)議的HTTP庫。它比urllib更加方便，可以節(jié)約我們大量的工作。（用了requests之后，你基本都不愿意用urllib了）一句話，requests是python實現(xiàn)的最簡單易用的HTTP庫，建議爬蟲使用requests庫。默認安裝好python之后，是沒有安裝requests模塊的，需要單獨通過pip安裝或者使用pycharm軟件安裝（如上文所示）.

直接使用庫requests中的get方法對目標網(wǎng)址發(fā)出申請。為了防止請求的頁面沒有成功，我們添加了捕獲異常的代碼塊try,except。另外，如果多次爬取同一個網(wǎng)址，您的ip可能被封，不能在爬取任何信息。為了解決此問題，本次在代碼中設置了代理信息，具體代碼請關注人工智能與大數(shù)據(jù)生活(data_circle)，文末長按二維碼即可，回復 ”豆瓣電影“ 獲得全部代碼。

`python` def get_one_page(url):     '''
        抓取第一頁內(nèi)容
    :return: 請求的頁面的信息
    '''     try:
       
        response = requests.get(url,headers=headers)

        if response.status_code == 200:
            return response.text

        return None     except RequestException:
        return None

頁面解析

解析后的結果，我們使用write函數(shù)寫入csv文件中，代碼如下。

def write_to_file(content): '''

          保存結果到CSV文件
    :param content:
    :return: 無
    '''

    with open('douban_movie_250.csv','a',encoding='utf-8') as f:
        f.write(json.dumps(content,ensure_ascii=False)+'\n')

到此，相信大家對“Python爬取豆瓣電影方法是什么”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關內(nèi)容可以進入相關頻道進行查詢，關注我們，繼續(xù)學習！