您好,登錄后才能下訂單哦!
這篇文章將為大家詳細(xì)講解有關(guān)Python如何爬蟲淘寶商品數(shù)據(jù),小編覺得挺實(shí)用的,因此分享給大家做個(gè)參考,希望大家閱讀完這篇文章后可以有所收獲。
這次的主要的目的是從淘寶的搜索頁面獲取商品的信息。其實(shí)分析頁面找到信息很容易,頁面信息的存放都是以靜態(tài)的方式直接嵌套的頁面上的,很容易找到。主要困難是將信息從HTML源碼中剝離出來,數(shù)據(jù)和網(wǎng)頁源碼結(jié)合的很緊密,剝離數(shù)據(jù)有一定的難度。
然后將獲取的信息寫入excel表格保存起來,這次只爬取了前面10頁的內(nèi)容。
代碼如下:
import requests import re from xlwt import Workbook import xlrd import time def key_name( number ): #獲取頁面的內(nèi)容并返回 name = '手機(jī)' URL_1 = "https://s.taobao.com/search?ie=utf8&initiative_id=staobaoz_20170905&stats_click=search_radio_all%3A1&js=1&imgfile=&q=" URL_2 = "&suggest=0_1&_input_charset=utf-8&wq=u&suggest_query=u&source=suggest&p4ppushleft=5%2C48&s=" URL = ( URL_1 + name + URL_2 + str(number)) #print(URL) res = requests.get( URL ) return res.text def find_date( text): #根據(jù)整個(gè)頁面的信息,獲取商品的數(shù)據(jù)所在的HTML源碼并放回 reg = r',"data":{"spus":\[({.+?)\]}},"header":' reg = re.compile(reg) info = re.findall(reg, text) return info[0] def manipulation_data( info, N, sheet ): #解析獲取的HTML源碼,獲取數(shù)據(jù) Date = eval(info) for d in Date: T = " ".join([t['tag'] for t in d['tag_info']]) #print(d['title'] + '\t' + d['price'] + '\t' + d['importantKey'][0:len(d['importantKey'])-1] + '\t' + T) sheet.write(N,0,d['title']) sheet.write(N,1,d['price']) sheet.write(N,2,T) N = N + 1 return N def main(): book = Workbook() sheet = book.add_sheet('淘寶手機(jī)數(shù)據(jù)') sheet.write(0,0,'品牌') sheet.write(0,1,'價(jià)格') sheet.write(0,2,'配置') book.save('淘寶手機(jī)數(shù)據(jù).xls') #k用于生成鏈接,每個(gè)鏈接的最后面的數(shù)字相差48. #N用于記錄表格的數(shù)據(jù)行數(shù),便于寫入數(shù)據(jù) k = 0 N = 1 for i in range(10+1): text = key_name( k + i * 48 ) info = find_date(text) N = manipulation_data( info ,N, sheet ) book.save('淘寶手機(jī)數(shù)據(jù).xls') print('下載第' + str(i) + '頁完成') if __name__ == '__main__': main()
關(guān)于Python如何爬蟲淘寶商品數(shù)據(jù)就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,可以學(xué)到更多知識。如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。