您好,登錄后才能下訂單哦!
python中urllib庫如何使用,針對這個(gè)問題,這篇文章詳細(xì)介紹了相對應(yīng)的分析和解答,希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡單易行的方法。
urllib.request 用于發(fā)起網(wǎng)絡(luò)請求
urllib.parse 用于操作url
urllib.errer 用于處理網(wǎng)絡(luò)請求錯(cuò)誤
urllib.robotparser 用于解析網(wǎng)站robots.txt文件
import urllib.request import user_agent # 用于生成User-Agent import re import lxml.etree as le # 用xpath 匹配數(shù)據(jù) import tool import pandas as pd keywords = input('keywords>') page = input('page>') data_best = [] header = {'User-Agent':user_agent.get_user_agent_pc()} request = urllib.request.Request( #構(gòu)造請求頭 url='https://search.51job.com/list/170200,000000,0000,00,9,99,{keywords},2,{page}.html?lang=c&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='.format(keywords=keywords,page=page), headers=header ) response = urllib.request.urlopen(request) pattern = 'window.__SEARCH_RESULT__ =(.*?)</script' search_value = re.findall(pattern,response.read().decode('gbk')) datas = eval(search_value[0])["engine_search_result"] for data in datas: temp_data = {} temp_data['job_name'] = data['job_name'] temp_data['company_name']=data['company_name'] temp_data['providesalary_text']=data['providesalary_text'] temp_data['workarea_text']=data['workarea_text'] job_href = re.sub('\\\\','',data['job_href']) sub_request = urllib.request.Request( url = job_href, headers={'User-Agent':user_agent.get_user_agent_pc()} ) sub_response = urllib.request.urlopen(sub_request) sub_datas = tool.xpath_union(le.HTML(sub_response.read()),'//div[@class="tCompany_main"]/div[@class="tBorderTop_box"][1]//text()',split='\n',default=None) temp_data['job_zw']=sub_datas data_best.append(temp_data) pd.DataFrame(data_best).to_csv('works.csv',encoding='utf8') #保存為csv文件
打開鏈接可以用urllib.request.urlopen()直接打開,也可以用urllib.request.Request()構(gòu)造更隱蔽的請求,urllib.request.Request() 傳入url、data、headers參數(shù),data是bytes類型
urllib.parse.urlencode()方法可以構(gòu)造url
關(guān)于python中urllib庫如何使用問題的解答就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。