怎么在python中利用Selenium+Requests爬取數(shù)據(jù)

本篇文章給大家分享的是有關(guān)怎么在python中利用Selenium+Requests爬取數(shù)據(jù)，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

python的數(shù)據(jù)類型有哪些?

python的數(shù)據(jù)類型：1. 數(shù)字類型，包括int（整型）、long（長(zhǎng)整型）和float（浮點(diǎn)型）。2.字符串，分別是str類型和unicode類型。3.布爾型，Python布爾類型也是用于邏輯運(yùn)算，有兩個(gè)值：True（真）和False（假）。4.列表，列表是Python中使用最頻繁的數(shù)據(jù)類型，集合中可以放任何數(shù)據(jù)類型。5. 元組，元組用”()”標(biāo)識(shí)，內(nèi)部元素用逗號(hào)隔開。6. 字典，字典是一種鍵值對(duì)的集合。7. 集合，集合是一個(gè)無序的、不重復(fù)的數(shù)據(jù)組合。

觀察頁面可知，頁面數(shù)據(jù)屬于動(dòng)態(tài)加載 所以現(xiàn)在我們通過抓包工具，獲取數(shù)據(jù)包

觀察其url和參數(shù)

url="https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false"
參數(shù)：
city=%E5%8C%97%E4%BA%AC  ==》城市
first=true  ==》無用
pn=1  ==》頁數(shù)
kd=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90  ==》商品關(guān)鍵詞

所以我們要想實(shí)現(xiàn)全站爬取，需要有city和頁數(shù)

三、獲取所有城市和頁數(shù)

我們打開拉勾網(wǎng)，觀察后發(fā)現(xiàn)，他的數(shù)據(jù)并不是完全展示的，比如說 在城市篩選選擇全國(guó) 僅僅只顯示30頁 但總頁數(shù)是遠(yuǎn)遠(yuǎn)大于30頁的；我又選擇北京發(fā)現(xiàn)是30頁又選擇北京下的海淀區(qū)又是30頁，可能我們無法把數(shù)據(jù)全部的爬取，但我們可以盡可能的將數(shù)據(jù)多的爬取

我們?yōu)榱双@取全站數(shù)據(jù)，必然離不開的有兩個(gè)參數(shù) 一個(gè)是城市一個(gè)是頁數(shù)，所以我們利用selenium自動(dòng)化去獲取所有城市和對(duì)應(yīng)頁數(shù)

def City_Page(self):
    City_Page={}
    url="https://www.lagou.com/jobs/allCity.html?keyword=%s&px=default&companyNum=0&isCompanySelected=false&labelWords="%(self.keyword)
    self.bro.get(url=url)
    sleep(30)
    print("開始獲取城市及其最大頁數(shù)")
    if "驗(yàn)證系統(tǒng)" in self.bro.page_source:
        sleep(40)
    html = etree.HTML(self.bro.page_source)
    city_urls = html.xpath('//table[@class="word_list"]//li/input/@value')
    for city_url in city_urls:
        try:
            self.bro.get(city_url)
            if "驗(yàn)證系統(tǒng)" in self.bro.page_source:
                sleep(40)
            city=self.bro.find_element_by_xpath('//a[@class="current_city current"]').text
            page=self.bro.find_element_by_xpath('//span[@class="span totalNum"]').text
            City_Page[city]=page
            sleep(0.5)
        except:
            pass
    self.bro.quit()
    data = json.dumps(City_Page)
    with open("city_page.json", 'w', encoding="utf-8")as f:
        f.write(data)
    return City_Page

四、生成params參數(shù)

我們有了每個(gè)城市對(duì)應(yīng)的最大頁數(shù)，就可以生成訪問頁面所需的參數(shù)

def Params_List(self):
    with open("city_page.json", "r")as f:
        data = json.loads(f.read())
    Params_List = []
    for a, b in zip(data.keys(), data.values()):
        for i in range(1, int(b) + 1):
            params = {
                'city': a,
                'pn': i,
                'kd': self.keyword
            }
            Params_List.append(params)
    return Params_List

五、獲取數(shù)據(jù)

最后我們可以通過添加請(qǐng)求頭和使用params url來訪問頁面獲取數(shù)據(jù)

def Parse_Data(self,params):
    url = "https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false"
    header={
        'referer': 'https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?labelWords=&fromSearch=true&suginput=',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
        'cookie':''
    }
    try:
        text = requests.get(url=url, headers=header, params=params).text
        if "頻繁" in text:
            print("操作頻繁，已被發(fā)現(xiàn) 當(dāng)前為第%d個(gè)params"%(i))
        data=json.loads(text)
        result=data["content"]["positionResult"]["result"]
        for res in result:
            with open(".//lagou1.csv", "a",encoding="utf-8") as f:
                writer = csv.DictWriter(f, res.keys())
                writer.writerow(res)
        sleep(1)
    except Exception as e:
        print(e)
        pass

以上就是怎么在python中利用Selenium+Requests爬取數(shù)據(jù)，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注億速云行業(yè)資訊頻道。