溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

python 爬取馬蜂窩景點(diǎn)翻頁文字評(píng)論的實(shí)現(xiàn)

發(fā)布時(shí)間：2020-09-28 01:01:21 來源：腳本之家 閱讀：393 作者：MobChaos 欄目：開發(fā)技術(shù)

使用Chrome、python3.7、requests庫和VSCode進(jìn)行爬取馬蜂窩黃鶴樓的文字評(píng)論(http://www.mafengwo.cn/poi/5426285.html)。

首先，我們復(fù)制一段評(píng)論，查看網(wǎng)頁源代碼，按Ctrl+F查找，發(fā)現(xiàn)沒有找到評(píng)論，說明評(píng)論內(nèi)容不在http://www.mafengwo.cn/poi/5426285.html頁面。

python 爬取馬蜂窩景點(diǎn)翻頁文字評(píng)論的實(shí)現(xiàn)

回到頁面，劃到評(píng)論列表，右鍵檢查，選擇Network，然后點(diǎn)擊后一頁翻頁，觀察Network里的變化，我們要爬的文件就在下面的某個(gè)文件里（主要找XHR和JS兩個(gè)模塊）。選擇Preview可以更好的讓我們尋找我們想要的文件，然后選擇Headers找到我們要爬的url。

python 爬取馬蜂窩景點(diǎn)翻頁文字評(píng)論的實(shí)現(xiàn)

python 爬取馬蜂窩景點(diǎn)翻頁文字評(píng)論的實(shí)現(xiàn)

經(jīng)過分析我們找到要爬取的url是http://pagelet.mafengwo.cn/poi/pagelet/poiCommentListApi?callback=jQuery18102698237405245767_1579401525334&params=%7B%22poi_id%22%3A%225426285%22%2C%22page%22%3A2%2C%22just_comment%22%3A1%7D&_ts=1579402072160&sn=20e98d65a0&=1579402072161
然而點(diǎn)進(jìn)去是這樣的

python 爬取馬蜂窩景點(diǎn)翻頁文字評(píng)論的實(shí)現(xiàn)

這個(gè)時(shí)候?qū)Ρ纫幌逻@兩個(gè)頁面的Request Headers，發(fā)現(xiàn)原頁面多了個(gè)Refer參數(shù)

原頁面

python 爬取馬蜂窩景點(diǎn)翻頁文字評(píng)論的實(shí)現(xiàn)

python 爬取馬蜂窩景點(diǎn)翻頁文字評(píng)論的實(shí)現(xiàn)

然后看一下請(qǐng)求get請(qǐng)求需要的參數(shù)Query String Parameters，其中poi_id是景點(diǎn)id，page是評(píng)論頁面（翻頁只用改變page的值就行）。

python 爬取馬蜂窩景點(diǎn)翻頁文字評(píng)論的實(shí)現(xiàn)

import re
import time
import requests
#評(píng)論內(nèi)容所在的url，？后面是get請(qǐng)求需要的參數(shù)內(nèi)容
comment_url='http://pagelet.mafengwo.cn/poi/pagelet/poiCommentListApi?'

requests_headers={
  'Referer': 'http://www.mafengwo.cn/poi/5426285.html',
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}#請(qǐng)求頭

for num in range(1,6):
  requests_data={
    'params': '{"poi_id":"5426285","page":"%d","just_comment":1}' % (num)  #經(jīng)過測(cè)試只需要用params參數(shù)就能爬取內(nèi)容
    }
  response =requests.get(url=comment_url,headers=requests_headers,params=requests_data)
  if 200==response.status_code:
    page = response.content.decode('unicode-escape', 'ignore').encode('utf-8', 'ignore').decode('utf-8')#爬取頁面并且解碼
    page = page.replace('\\/', '/')#將\/轉(zhuǎn)換成/
    #日期列表
    date_pattern = r'<a class="btn-comment _j_comment" title="添加評(píng)論">評(píng)論</a>.*?\n.*?<span class="time">(.*?)</span>'
    date_list = re.compile(date_pattern).findall(page)
    #星級(jí)列表
    star_pattern = r'<span class="s-star s-star(\d)"></span>'
    star_list = re.compile(star_pattern).findall(page)
    #評(píng)論列表
    comment_pattern = r'<p class="rev-txt">([\s\S]*?)</p>'
    comment_list = re.compile(comment_pattern).findall(page)
    for num in range(0, len(date_list)):
      #日期
      date = date_list[num]
      #星級(jí)評(píng)分
      star = star_list[num]
      #評(píng)論內(nèi)容，處理一些標(biāo)簽和符號(hào)
      comment = comment_list[num]
      comment = str(comment).replace('&nbsp;', '')
      comment = comment.replace('<br>', '')
      comment = comment.replace('<br />', '')
      print(date+"\t"+star+"\t"+comment)
  else:
    print("爬取失敗")

結(jié)果

python 爬取馬蜂窩景點(diǎn)翻頁文字評(píng)論的實(shí)現(xiàn)

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持億速云。

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手