Python如何爬取指定百度搜索的內(nèi)容并提取網(wǎng)頁(yè)的標(biāo)題內(nèi)容

Python如何爬取指定百度搜索的內(nèi)容并提取網(wǎng)頁(yè)的標(biāo)題內(nèi)容，針對(duì)這個(gè)問(wèn)題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問(wèn)題的小伙伴找到更簡(jiǎn)單易行的方法。

hello，大家好。今天為大家?guī)?lái)的是之前分享過(guò)的requests庫(kù)與lxml庫(kù)的結(jié)合使用案例一：指定百度搜索的內(nèi)容并提取網(wǎng)頁(yè)的標(biāo)題內(nèi)容。好的，廢話不多說(shuō)，直接上主菜。

第一步：完成初步分析

下面我們來(lái)完成我們的第一步，分析我們的目標(biāo)。大家可千萬(wàn)不要小看這一步哦，因?yàn)槲覀冎挥兴悸非逦拍茉谳^短的時(shí)間里面寫(xiě)出漂亮的代碼。

1.確定url：

首先，我們想要請(qǐng)求網(wǎng)頁(yè)，必須知道我們的url（即網(wǎng)址）是什么。下面，我打開(kāi)Chrome（谷歌）瀏覽器，并且打開(kāi)百度頁(yè)面，指定搜索“python”，得到下圖結(jié)果：

第二步：完成獲取頁(yè)面程序主體框架

寫(xiě)python程序，有時(shí)候很矛盾，是用面向?qū)ο竽?？還是面向過(guò)程呢？其實(shí)都隨意（我比較隨意，因?yàn)闆](méi)有人要求我必須使用什么寫(xiě)），這里我采取面向?qū)ο蟮姆绞絹?lái)寫(xiě)這個(gè)程序。

1.首先，我們需要寫(xiě)出大體的框架：

#文件一
import requests

class MySpider(object):
    def __init__(self):
        self.url = 'http://www.baidu.com/s?wd={name}' #這里采用format的格式化輸入
        self.headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
        }

    def main(self):
        #處理url
        self.target = input('請(qǐng)輸入你感興趣的內(nèi)容：')
        self.url = self.url.format(name=self.target)  #重新構(gòu)建url，大家測(cè)試的時(shí)候可以嘗試打印
        #請(qǐng)求
        text = self.get() 
        #寫(xiě)入文件
        self.write(text)

    def get(self):
        '''請(qǐng)求并返回網(wǎng)頁(yè)源代碼'''
        pass
    
    def write(self,text):
        '''將返回的源代碼寫(xiě)入文件，等待之后解析用'''
        pass

if __name__ == '__main__':
    spider = MySpider()
    spider.main()

2.為什么需要寫(xiě)入文件，而不直接解析：

這里有幾個(gè)原因。

1>我們寫(xiě)代碼，一般來(lái)說(shuō)都不可能一次寫(xiě)成功，總是需要修改和測(cè)試的。平時(shí)我們寫(xiě)代碼，自然可以隨意的測(cè)試運(yùn)行，都可以檢測(cè)代碼是否正確，但是爬蟲(chóng)卻不能這樣。因?yàn)槿绻阍谳^短時(shí)間內(nèi)訪問(wèn)了網(wǎng)站次數(shù)過(guò)多，可能會(huì)導(dǎo)致網(wǎng)站對(duì)你做出一些限制性舉動(dòng)，比如：增加驗(yàn)證碼判斷你是否為人類，嚴(yán)重點(diǎn)的短時(shí)間內(nèi)封禁你的ip。因此，我們將網(wǎng)頁(yè)源代碼寫(xiě)入文件，這樣在之后寫(xiě)解析代碼的時(shí)候就不需要重新去訪問(wèn)網(wǎng)站了。

2>我們以html的形式寫(xiě)入文件，可以用瀏覽器打開(kāi)這個(gè)文件，可以比較清晰的看出這個(gè)文件是否為我們需要爬取的文件。如下圖是我爬取后存入的文件以谷歌瀏覽器打開(kāi)的結(jié)果：

完成獲取頁(yè)面程序：

下面我們來(lái)完成獲取頁(yè)面的程序代碼：

1.完成請(qǐng)求函數(shù)get:

def get(self):
        '''請(qǐng)求并返回網(wǎng)頁(yè)源代碼'''
        response = requests.get(self.url,self.headers)
        if response.status_code == 200:
            return response.text

這個(gè)沒(méi)什么好說(shuō)的，是最基礎(chǔ)的代碼。

2.完成寫(xiě)入文件函數(shù)write:

def write(self,text):
 with open('%s.html'%self.target,'w',encoding='utf-8') as f:     #這里的self.target為輸入搜索的內(nèi)容
  f.write(text)

這個(gè)也只是文件的基本操作，沒(méi)什么好講解的地方，只是注意我們這里存入的為html文件，而不是txt文件。

3.檢測(cè)是否正常運(yùn)行以及是否為我們想要的結(jié)果：

這里檢測(cè)的方式我前面已經(jīng)提及，就是瀏覽器打開(kāi)相應(yīng)的頁(yè)面即可。如下圖操作：

說(shuō)明程序正常運(yùn)行。

完成解析頁(yè)面的大體框架和局部?jī)?nèi)容：

1.完成解析頁(yè)面程序的框架：

from lxml import etree

class Parse(object):
    def __init__(self):
        #讀取內(nèi)容并且初始化
        with open('python.html','r',encoding='utf-8') as f:
            self.html = etree.HTML(f.read())

    #解析頁(yè)面
    def parse(self):
        pass

if __name__ == '__main__':
    parser = Parse()
    parser.parse()

2.完成解析函數(shù)parse：

下面我們來(lái)完成最后一步，解析函數(shù)的敲寫(xiě)。

首先我們需要分析下，我們想要獲取的內(nèi)容在什么標(biāo)簽里面。分析過(guò)程如圖（個(gè)人認(rèn)為這部分比較重要，因?yàn)槲页鯇W(xué)的時(shí)候主要困惑于兩點(diǎn)：如何處理失敗的請(qǐng)求，解析的思路是什么）

好的，分析清楚了我們需要的內(nèi)容在哪里之后，可以使用lxml來(lái)寫(xiě)代碼了，如下：

def parse(self):
    #獲取url
    h4_tags = self.html.xpath('//h4[contains(@class,"t")]//text()')
    h4_tags = [i.strip() for i in h4_tags]
    print(h4_tags)

下面要做的工作就是處理這些字符串，但是這個(gè)并不是我們的重點(diǎn)，并且這些數(shù)據(jù)并不重要，所以就不處理了。

總結(jié)與全文代碼：

1.首先附上全文代碼：

# -*- coding:utf-8 -*-

#獲取網(wǎng)頁(yè)內(nèi)容文件
import requests

class MySpider(object):
    def __init__(self):
        self.url = 'http://www.baidu.com/s?wd={name}'
        #寫(xiě)清楚獲取headers途徑
        self.headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
        }

    def main(self):
        #處理url
        self.target = input('請(qǐng)輸入你感興趣的內(nèi)容：')
        self.url = self.url.format(name=self.target)
        #請(qǐng)求
        text = self.get()
        #寫(xiě)入文件
        # self.write(text)

    def get(self):
        '''請(qǐng)求并返回網(wǎng)頁(yè)源代碼'''
        response = requests.get(self.url,self.headers)
        if response.status_code == 200:
            return response.text

    def write(self,text):
        with open('%s.html'%self.target,'w',encoding='utf-8') as f:
            f.write(text)

if __name__ == '__main__':
    spider = MySpider()
    spider.main()

# -*- coding:utf-8 -*-

#解析頁(yè)面文件

from lxml import etree

class Parse(object):
    def __init__(self):
        with open('python.html','r',encoding='utf-8') as f:
            self.html = etree.HTML(f.read())

    def parse(self):
        #獲取標(biāo)題
        h4_tags = self.html.xpath('//h4[contains(@class,"t")]//text()')
        h4_tags = [i.strip() for i in h4_tags]
        print(h4_tags)

if __name__ == '__main__':
    parser = Parse()
    parser.parse()

2.總結(jié)：

好的，今天的分享就到此為止了。這是最基礎(chǔ)的案例，主要目的是讓大家先熟悉下，如何使用requests和lxml寫(xiě)一個(gè)爬蟲(chóng)程序，其次就是讓大家熟悉下分析網(wǎng)站的思路。

關(guān)于Python如何爬取指定百度搜索的內(nèi)容并提取網(wǎng)頁(yè)的標(biāo)題內(nèi)容問(wèn)題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒(méi)有解開(kāi)，可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識(shí)。