您好,登錄后才能下訂單哦!
案例:爬取使用搜狗根據(jù)指定詞條搜索到的頁面數(shù)據(jù)(例如爬取詞條為‘周杰倫'的頁面數(shù)據(jù))
import urllib.request # 1.指定url url = 'https://www.sogou.com/web?query=周杰倫' ''' 2.發(fā)起請(qǐng)求:使用urlopen函數(shù)對(duì)指定的url發(fā)起請(qǐng)求, 該函數(shù)返回一個(gè)響應(yīng)對(duì)象,urlopen代表打開url ''' response = urllib.request.urlopen(url=url) # 3.獲取響應(yīng)對(duì)象中的頁面數(shù)據(jù):read函數(shù)可以獲取響應(yīng)對(duì)象中存儲(chǔ)的頁面數(shù)據(jù)(byte類型的數(shù)據(jù)值) page_text = response.read() # 4.持久化存儲(chǔ):將爬取的頁面數(shù)據(jù)寫入文件進(jìn)行保存 with open("sougou.html","wb") as f: f.write(page_text) print("寫入數(shù)據(jù)成功") f.close()
編碼錯(cuò)誤
【注意】上述代碼中url存在非ascii編碼的數(shù)據(jù),則該url無效。如果對(duì)其發(fā)起請(qǐng)求,則會(huì)報(bào)如下錯(cuò)誤:
UnicodeEncodeError: 'ascii' codec can't encode characters in position 15-17: ordinal not in range(128)
url的特性:url不可以存在非ASCII編碼字符數(shù)據(jù),url必須為ASCII編碼的數(shù)據(jù)值。所以我們?cè)谂老x代碼中編寫url時(shí),如果url中存在非ASCII編碼的數(shù)據(jù)值,則必須對(duì)其進(jìn)行ASCII編碼后,該url方可被使用。
上面的“周杰倫” 不是ASCII編碼字符數(shù)據(jù),所以u(píng)rl就會(huì)變成無效的url,不符合url特性,所以報(bào)錯(cuò)誤
所以必須對(duì)url中的非ascii的數(shù)據(jù)進(jìn)行ascii的編碼,則該url方可被發(fā)起請(qǐng)求:
需要用到 urllib.parse
方法 1:使用quote函數(shù)
quote函數(shù)作用:對(duì)url中所存在的特殊字符進(jìn)行ASCII的編碼,把url中的非ascii編碼的字符單獨(dú)取出來,使用quote函數(shù)進(jìn)行轉(zhuǎn)碼,
轉(zhuǎn)碼之后,把轉(zhuǎn)碼的結(jié)果拼接到原有的url當(dāng)中。
import urllib.request import urllib.parse # 1.指定url url = 'https://www.sogou.com/web?query=周杰倫' word = urllib.parse.quote("周杰倫") # 查看轉(zhuǎn)碼后結(jié)果 print(word) # %E5%91%A8%E6%9D%B0%E4%BC%A6
from urllib.request import urlopen import urllib.parse # 1.指定url url = 'https://www.sogou.com/web?query=' # url的特性:url不可以存在非ASCII編碼字符數(shù)據(jù) word = urllib.parse.quote("周杰倫") # 將編碼后的數(shù)據(jù)值拼接回url中 url = url+word # 有效url ''' 2.發(fā)起請(qǐng)求:使用urlopen函數(shù)對(duì)指定的url發(fā)起請(qǐng)求, 該函數(shù)返回一個(gè)響應(yīng)對(duì)象,urlopen代表打開url ''' response = urlopen(url=url) # 3.獲取響應(yīng)對(duì)象中的頁面數(shù)據(jù):read函數(shù)可以獲取響應(yīng)對(duì)象中存儲(chǔ)的頁面數(shù)據(jù)(byte類型的數(shù)據(jù)值) page_text = response.read() # 4.持久化存儲(chǔ):將爬取的頁面數(shù)據(jù)寫入文件進(jìn)行保存 with open("周杰倫.html","wb") as f: f.write(page_text) print("寫入數(shù)據(jù)成功")
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持億速云。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。