Python怎么爬取上道網(wǎng)項(xiàng)目

本篇內(nèi)容主要講解“Python怎么爬取上道網(wǎng)項(xiàng)目”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“Python怎么爬取上道網(wǎng)項(xiàng)目”吧!

一、實(shí)現(xiàn)目標(biāo)

獲取對(duì)應(yīng)的公司名稱(chēng)，保存文檔。

二、項(xiàng)目準(zhǔn)備

軟件：PyCharm

需要的庫(kù)：requests，fake_useragent，time

三、項(xiàng)目分析

如何網(wǎng)頁(yè)訪問(wèn)？

http://www.daogame.cn/qudao-p-2.html?s=/qudao-p-1.html
http://www.daogame.cn/qudao-p-2.html?s=/qudao-p-2.html
http://www.daogame.cn/qudao-p-2.html?s=/qudao-p-3.html
http://www.daogame.cn/qudao-p-2.html?s=/qudao-p-4.html

點(diǎn)擊下一頁(yè)時(shí)，每增加一頁(yè)p-{}.html自增加1，用{}代替變換的變量，再用for循環(huán)遍歷這網(wǎng)址，實(shí)現(xiàn)多個(gè)網(wǎng)址請(qǐng)求。

四、項(xiàng)目實(shí)現(xiàn)

1. 定義一個(gè)class類(lèi)繼承object，定義init方法繼承self，主函數(shù)main繼承self。導(dǎo)入需要的庫(kù)、請(qǐng)求地址。

import requests
from lxml import etree
from fake_useragent import UserAgent
import time


class Shangdao(object):
    def __init__(self):
        self.url = "http://www.daogame.cn/qudao-p-2.html?s=/qudao-p-{}.html"  #網(wǎng)站
    def main(self):
        pass


if __name__ == '__main__':
    Siper = Shangdao()
    Siper.main()

2. 隨機(jī)產(chǎn)生UserAgent，防止反爬。

for i in range(1, 50):
            self.headers = {
                'User-Agent': ua.random,
            }

3. 發(fā)送請(qǐng)求 獲取響應(yīng), 頁(yè)面回調(diào)，方便下次請(qǐng)求。

   def get_page(self, url):
        res = requests.get(url=url, headers=self.headers)
        html = res.content.decode("utf-8")
        return html

4. 獲取公司名稱(chēng)，for遍歷。

   def page_page(self, html):
        parse_html = etree.HTML(html)
        one = parse_html.xpath('//h3/a/text()')
        for i in one:
            print(i)

5. 寫(xiě)入文檔。

           f = open('公司.doc', 'a', encoding='utf-8')  # 以'w'方式打開(kāi)文件
            f.write(str(i))

6. 調(diào)用方法，實(shí)現(xiàn)功能。

   def main(self):
        stat = int(input("輸 入 開(kāi) 始 （2開(kāi)始）:"))
        end = int(input("輸 入 結(jié) 束:"))
        for page in range(stat, end + 1):
            url = self.url.format(page)
            print(url)
            html = self.get_page(url)
            self.page_page(html)
            print("==================第%s頁(yè)爬取成功！！??！=====================" % page)

項(xiàng)目?jī)?yōu)化：

設(shè)置時(shí)間延時(shí)。

time.sleep(1.4)

五、效果展示

點(diǎn)擊綠色小三角運(yùn)行輸入起始頁(yè)，終止頁(yè)( 從0頁(yè)開(kāi)始 )。

渠道公司名，結(jié)果顯示控制臺(tái)。

保存文檔。

到此，相信大家對(duì)“Python怎么爬取上道網(wǎng)項(xiàng)目”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢(xún)，關(guān)注我們，繼續(xù)學(xué)習(xí)！