您好,登錄后才能下訂單哦!
這篇文章主要介紹“python淘寶爬蟲的實現(xiàn)方法教程”,在日常操作中,相信很多人在python淘寶爬蟲的實現(xiàn)方法教程問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”python淘寶爬蟲的實現(xiàn)方法教程”的疑惑有所幫助!接下來,請跟著小編一起來學(xué)習(xí)吧!
selenium pip install selenium
解釋我基本都寫在注釋了,我就偷個懶不在寫了。
from selenium import webdriver import time # 時間模塊, 可以用于程序的延遲 import random # 隨機數(shù)模塊 from constants import TAO_USERNAME1, TAO_PASSWORD1 import csv # 數(shù)據(jù)保存的模塊 def search_product(keyword): """搜索商品數(shù)據(jù), 登錄用戶""" driver.find_element_by_xpath('//*[@id="q"]').send_keys(keyword) time.sleep(random.randint(1, 3)) # 盡量避免人機檢測 隨機延遲 driver.f def parse_data(): """解析商品數(shù)據(jù)""" divs = driver.find_elements_by_xpath('//div[@class="grid g-clearfx"]/div/div') # 所有的div標簽 for div in divs: try: info = div.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text price = div.find_element_by_xpath('.//strong').text + '元' deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text name = div.find_element_by_xpath('.//div[@class="shop"]/a/span[2]').text location = div.find_element_by_xpath('.//div[@class="location"]').te'.//div[@class="pic"]/a').get_attribute('href') print(info, price, deal, name, location, detail_url) # 保存 with open('某寶.csv', mode='a', encoding='utf-8', newline='') as f: csv_write = csv.writer(f) csv_write.writerow([info, price, deal, name, location, detail_url]) except: continue word = input('請輸入你要搜索商品的關(guān)鍵字:') # 創(chuàng)建一個瀏覽器 driver = webdriver.Chrome() # selenium操作的瀏覽器被識別了, 無法登錄 # 修改瀏覽器的部分屬性, 繞過檢測 driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => false})"""}) # 執(zhí)行自動化瀏覽器的操作 driver.get('https://www.taobao.com/') driver.implicitly_wait(10) # 設(shè)置瀏覽器的等待,加載數(shù)據(jù) driver.maximize_window() # 最大化瀏覽器 # 調(diào)用商品搜索的函數(shù) search_product(word) for page in range(100): # 012 print(f'\n==================正在抓取第{page + 1}頁數(shù)據(jù)====================') url = f'https://s.taobao.com/search?q=%E5%B7%B4%E9%BB%8E%E4%B8%96%E5%AE%B6&s={page * 44}' # 解析商品數(shù)據(jù) parse_data() time.sleep(random.randint(1, 3)) # 盡量避免人機檢測 隨機延遲
到此,關(guān)于“python淘寶爬蟲的實現(xiàn)方法教程”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識,請繼續(xù)關(guān)注億速云網(wǎng)站,小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。