Python中怎么利用網(wǎng)絡(luò)爬蟲獲取招聘信息

Python中怎么利用網(wǎng)絡(luò)爬蟲獲取招聘信息，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

1、定義一個class類繼承object，定義init方法繼承self，主函數(shù)main繼承self。導入需要的庫和網(wǎng)址，代碼如下所示。

import requests from lxml import etree from fake_useragent import UserAgent   class  Zhaopin(object):     def __init__(self):         self.url = "https://gz.58.com/job/pn2/?param7503=1&from=yjz2_zhaopin&PGTID=0d302408-0000-3efd-48f6-ff64d26b4b1c&ClickID={}"  # /zhuanchang/:搜索的名字的拼音縮寫      def main(self):         pass  if __name__ == '__main__':     Spider =  Zhaopin()     Spider.main()

2、隨機產(chǎn)生UserAgent。

for i in range(1, 50):     self.headers = {         'User-Agent': ua.random,     }

3、發(fā)送請求，獲取響應(yīng), 頁面回調(diào)，方便下次請求。

def get_page(self, url):     res = requests.get(url=url, headers=self.headers)     html = res.content.decode("utf-8")     return html

4、xpath解析找到對應(yīng)的父節(jié)點。

def page_page(self, html):     parse_html = etree.HTML(html)     one = parse_html.xpath('//div[@class="main clearfix"]//div[@class="leftCon"]/ul/li')

5、for遍歷，定義一個變量food_info保存，獲取到二級頁面對應(yīng)的菜 名、 原 料 、下 載 鏈 接。

for l in one:    o = l.xpath('.//a/span[1]/text()')[0].strip()    t = l.xpath('.//a//span[@class="name"]/text()')[0].strip()    f = l.xpath('.//p[@class="job_salary"]/text()')    thr = l.xpath('.//div[@class="comp_name"]//a/text()')[0].strip()    for e in f:        boss = '''  %s:||%s:  公司：%s, 工資：%s元/月 =========================================================                                ''' % (o, t, thr, e)    print(str(boss)

6、將結(jié)果保存在txt文檔中，如下所示。

f = open('g.txt', 'a', encoding='utf-8')  # 以'w'方式打開文件 f.write(str(boss)) # print(house_dict) f.write("\n")  # 鍵和值分行放，鍵在單數(shù)行，值在雙數(shù)行 f.close()

7、調(diào)用方法，實現(xiàn)功能。

html = self.get_page(url) self.page_page(html)

6.效果展示

1、點擊綠色小三角運行輸入起始頁，終止頁。

2、運行程序后，結(jié)果顯示在控制臺，如下圖所示。

3、保存txt文檔到本地，如下圖所示。

4、雙擊文件，內(nèi)容如下圖所示。

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進一步的了解或閱讀更多相關(guān)文章，請關(guān)注億速云行業(yè)資訊頻道，感謝您對億速云的支持。