您好,登錄后才能下訂單哦!
這篇文章主要為大家展示了“Python如何爬取肯德基”,內(nèi)容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“Python如何爬取肯德基”這篇文章吧。
查看肯德基官網(wǎng)的請求方法:post請求。
X-Requested-With: XMLHttpRequest
判斷得肯德基官網(wǎng)是ajax
請求
通過這兩個(gè)準(zhǔn)備步驟,明確本次爬蟲目標(biāo):
ajax的post請求肯德基官網(wǎng) 獲取上??系禄攸c(diǎn)前10頁。
獲取上海肯德基地點(diǎn)前10頁,那就需要先對每頁的url進(jìn)行分析。
第一頁
# page1 # http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname # POST # cname: 上海 # pid: # pageIndex: 1 # pageSize: 10
第二頁
# page2 # http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname # POST # cname: 上海 # pid: # pageIndex: 2 # pageSize: 10
第三頁依次類推。
首先回顧urllib爬取的基本操作:
# 使用urllib獲取百度首頁的源碼 import urllib.request # 1.定義一個(gè)url,就是你要訪問的地址 url = 'http://www.baidu.com' # 2.模擬瀏覽器向服務(wù)器發(fā)送請求 response響應(yīng) response = urllib.request.urlopen(url) # 3.獲取響應(yīng)中的頁面的源碼 content內(nèi)容 # read方法 返回的是字節(jié)形式的二進(jìn)制數(shù)據(jù) # 將二進(jìn)制數(shù)據(jù)轉(zhuǎn)換為字符串 # 二進(jìn)制-->字符串 解碼 decode方法 content = response.read().decode('utf-8') # 4.打印數(shù)據(jù) print(content)
定義一個(gè)url,就是你要訪問的地址
模擬瀏覽器向服務(wù)器發(fā)送請求 response響應(yīng)
獲取響應(yīng)中的頁面的源碼 content內(nèi)容
if __name__ == '__main__': start_page = int(input('請輸入起始頁碼: ')) end_page = int(input('請輸入結(jié)束頁碼: ')) for page in range(start_page, end_page+1): # 請求對象的定制 request = create_request(page) # 獲取網(wǎng)頁源碼 content = get_content(request) # 下載數(shù)據(jù) down_load(page, content)
對應(yīng)的,我們在主函數(shù)中也類似聲明方法。
爬蟲的關(guān)鍵在于找接口。對于這個(gè)案例,在預(yù)覽頁可以找到頁面對應(yīng)的json
數(shù)據(jù),說明這是我們要的數(shù)據(jù)。
不難發(fā)現(xiàn),肯德基官網(wǎng)的url的一個(gè)共同點(diǎn),我們把它保存為base_url
。
base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
老樣子,找規(guī)律,只有'pageIndex'和頁碼有關(guān)。
data = { 'cname': '上海', 'pid': '', 'pageIndex': page, 'pageSize': '10' }
post請求的參數(shù) 必須要進(jìn)行編碼
data = urllib.parse.urlencode(data).encode('utf-8')
編碼之后必須調(diào)用encode方法
參數(shù)放在請求對象定制的方法中:post的請求的參數(shù),是不會拼接在url后面的,而是放在請求對象定制的參數(shù)中
所以將data進(jìn)行編碼
data = urllib.parse.urlencode(data).encode('utf-8')
即 響應(yīng)頭中UA部分。
User Agent,用戶代理,特殊字符串頭,使得服務(wù)器能夠識別客戶使用的操作系統(tǒng)及版本,CPU類型,瀏覽器及版本,瀏覽器內(nèi)核,瀏覽器渲染引擎,瀏覽器語言,瀏覽器插件等。
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38' }
參數(shù),base_url,請求頭都準(zhǔn)備得當(dāng)后,就可以進(jìn)行請求對象定制了。
request = urllib.request.Request(base_url, headers=headers, data=data)
把request請求作為參數(shù),模擬瀏覽器向服務(wù)器發(fā)送請求 獲得response響應(yīng)。
response = urllib.request.urlopen(request) content = response.read().decode('utf-8')
使用 read()
方法,得到字節(jié)形式的二進(jìn)制數(shù)據(jù),需要使用 decode
進(jìn)行解碼,轉(zhuǎn)換為字符串。
content = response.read().decode('utf-8')
然后我們將下載得到的數(shù)據(jù)寫進(jìn)文件,使用 with open() as fp
的語法,系統(tǒng)自動關(guān)閉文件。
def down_load(page, content): with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8') as fp: fp.write(content)
# ajax的post請求肯德基官網(wǎng) 獲取上??系禄攸c(diǎn)前10頁 # page1 # http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname # POST # cname: 上海 # pid: # pageIndex: 1 # pageSize: 10 # page2 # http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname # POST # cname: 上海 # pid: # pageIndex: 2 # pageSize: 10 import urllib.request, urllib.parse def create_request(page): base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname' data = { 'cname': '上海', 'pid': '', 'pageIndex': page, 'pageSize': '10' } data = urllib.parse.urlencode(data).encode('utf-8') headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38' } request = urllib.request.Request(base_url, headers=headers, data=data) return request def get_content(request): response = urllib.request.urlopen(request) content = response.read().decode('utf-8') return content def down_load(page, content): with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8') as fp: fp.write(content) if __name__ == '__main__': start_page = int(input('請輸入起始頁碼: ')) end_page = int(input('請輸入結(jié)束頁碼: ')) for page in range(start_page, end_page+1): # 請求對象的定制 request = create_request(page) # 獲取網(wǎng)頁源碼 content = get_content(request) # 下載數(shù)據(jù) down_load(page, content)
爬取后結(jié)果
以上是“Python如何爬取肯德基”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。