如何用python做一個簡單的爬蟲

這篇文章給大家分享的是有關(guān)如何用python做一個簡單的爬蟲的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。

爬蟲技術(shù)是一個獲取信息和數(shù)據(jù)的重要手段。學(xué)習(xí)用python做一個簡單的爬蟲。

爬蟲主要分為兩個部分：

獲取數(shù)據(jù)

urllib 內(nèi)建模塊(url.request)

Requests 第三方庫

Scrapy框架

第三方的API

解析數(shù)據(jù)

BeautifulSoup庫

re模塊

一.從網(wǎng)絡(luò)上取的數(shù)據(jù)

簡單的爬蟲是可以使用Requests庫來完成的。

Requests的基本使用方法

requests.get()用來請求指定URL位置的資源，對應(yīng)的是HTTP協(xié)議的GET方法。

爬蟲有各式各樣的，做個簡單的來玩耍一下，下面以爬豆瓣讀書上《利用Python進(jìn)行數(shù)據(jù)分析》這本書的的書評作為例子。

最簡單的爬回來一個頁面

import requests

r = requests.get('https://book.douban.com/subject/25779298/comments/')
with open(r'D:\demo.txt', 'w') as file:
    file.writelines(r.text)

使用requests模塊的get方法，從網(wǎng)站上把一整個頁面全都保存到了本地的D盤中的demo.txt文件中。這是一個極度簡單的爬蟲。其中requests本身自己還有許多屬性和方法，可以去官網(wǎng)參考學(xué)習(xí)。如果需要把爬蟲收集回來的數(shù)據(jù)保存到本地的話，還需要去了解一下文件操作和數(shù)據(jù)庫操作的知識。

二.把數(shù)據(jù)解析出來

一般的標(biāo)簽網(wǎng)頁解析--BeautifulSoup

安裝的時候要注意：Pyhton3要安裝BeautifulSoup4才是正常使用的。

打開剛才生成的demo.txt文件，會發(fā)現(xiàn)文件中保存的是一整個頁面的代碼，內(nèi)容十分復(fù)雜，所以需要去解析一下頁面的內(nèi)容，才能夠把我們需要的短評抽取出來。我們先研究一下。

打開文件，或者在網(wǎng)頁頁面按F12進(jìn)入調(diào)試模式會發(fā)現(xiàn)，短評基本上是在一個相同的class的p標(biāo)簽里面的

<p class="comment-content">入門書，零基礎(chǔ)看了這本書也能用python的pandas和matplotlib進(jìn)行一些簡單的數(shù)據(jù)分析，
數(shù)據(jù)分析不在乎用什么工具，而是有目的地去找一y些insight，下一步我需要達(dá)到的效果是：如果產(chǎn)生一個想法，
能用工具快速驗證（如數(shù)據(jù)預(yù)處理，繪出圖標(biāo)等）。</p>

引入beautifulsoup來解析一下。要使用到的lxml解析包同樣是需要安裝的。

修改一下剛才的極簡爬蟲：

import requests
from bs4 import BeautifulSoup

r = requests.get('https://book.douban.com/subject/25779298/comments/')
bs = BeautifulSoup(r.text, 'lxml')
comments = bs.find_all('p', 'comment-content')

with open(r'D:\demo1.txt', 'w') as file:
    for item in comments:
        file.writelines(item.string)

激動的打開了demo.txt 文件后，發(fā)現(xiàn)天吶擼，所有的評論都窩在一行了，我們要給他區(qū)分出來，并且換行，再簡單也要有點可讀性。

修改一下剛才的小爬蟲：

file.writelines(item.string + '\n')

只要寫文件的時候加入這么一個簡單的換行符，就可以把每個評論換行來看了，而不是擠成一坨。

復(fù)雜細(xì)節(jié)解析--正則表達(dá)式

玩玩爬完文字評論，可以發(fā)現(xiàn)，豆瓣本身還是有一個評星星等級的一個評價，把這個也爬下來作為一個數(shù)據(jù)收集起來。打開網(wǎng)頁，F(xiàn)12找到這個評星星會發(fā)現(xiàn)，這個直接讀取標(biāo)簽內(nèi)的內(nèi)容不一樣，它是寫在標(biāo)簽的class里面的。例如下面的五星推薦 是 allstar50,而一個四星評價是 allstar40。

<span class="user-stars allstar50 rating" title="力薦"></span>

<span class="user-stars allstar40 rating" title="推薦"></span>

這里就需要使用正則表達(dá)式來提取這種復(fù)雜的情況。因為不是所有人都有打分，把有分?jǐn)?shù)都拿出來，然后給算一個平均值作為參考。

再讓小爬蟲變身一下：

import requests
import re
from bs4 import BeautifulSoup

# 得到評論正文
r = requests.get('https://book.douban.com/subject/25779298/comments/')
bs = BeautifulSoup(r.text, 'lxml')
comments = bs.find_all('p', 'comment-content')

# 得到評論的評分并計算總分和平均分
rule = re.compile('<span class="user-stars allstar([0-9]*?) rating"') # 配置匹配規(guī)則
comments_star = re.findall(rule, r.text)
totalsocre = 0
for star in comments_star:
    totalsocre += int(star)
avgsocre = totalsocre / len(comments_star)

with open(r'D:\demo1.txt', 'w') as file:
    file.write('此書的評價平均分(滿分50):  ' + str(avgsocre) + '\n')
    for item in comments:
        file.write(item.string + '\n')

感謝各位的閱讀！關(guān)于如何用python做一個簡單的爬蟲就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！