selenium如何 在python中使用

selenium如何 在python中使用？針對這個(gè)問題，這篇文章詳細(xì)介紹了相對應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡單易行的方法。

python的五大特點(diǎn)是什么

python的五大特點(diǎn)：1.簡單易學(xué)，開發(fā)程序時(shí)，專注的是解決問題,而不是搞明白語言本身。2.面向?qū)ο?，與其他主要的語言如C++和Java相比, Python以一種非常強(qiáng)大又簡單的方式實(shí)現(xiàn)面向?qū)ο缶幊獭?.可移植性，Python程序無需修改就可以在各種平臺上運(yùn)行。4.解釋性，Python語言寫的程序不需要編譯成二進(jìn)制代碼,可以直接從源代碼運(yùn)行程序。5.開源，Python是 FLOSS(自由/開放源碼軟件)之一。

1.案例分析：

- 需求：爬取網(wǎng)易新聞的國內(nèi)、國際、軍事、無人機(jī)板塊下的新聞數(shù)據(jù)

- 需求分析：當(dāng)點(diǎn)擊國內(nèi)超鏈進(jìn)入國內(nèi)對應(yīng)的頁面時(shí)，會發(fā)現(xiàn)當(dāng)前頁面展示的新聞數(shù)據(jù)是被動態(tài)加載出來的，如果直接通過程序?qū)rl進(jìn)行請求，是獲取不到動態(tài)加載出的新聞數(shù)據(jù)的。則需要我們使用selenium實(shí)例化一個(gè)瀏覽器對象，在該對象中進(jìn)行url的請求，獲取動態(tài)加載的新聞數(shù)據(jù)。

2.selenium在scrapy中使用的原理分析：

當(dāng)引擎將國內(nèi)板塊url對應(yīng)的請求提交給下載器后，下載器進(jìn)行網(wǎng)頁數(shù)據(jù)的下載，然后將下載到的頁面數(shù)據(jù)，封裝到response中，提交給引擎，引擎將response再轉(zhuǎn)交給Spiders。Spiders接受到的response對象中存儲的頁面數(shù)據(jù)里是沒有動態(tài)加載的新聞數(shù)據(jù)的。要想獲取動態(tài)加載的新聞數(shù)據(jù)，則需要在下載中間件中對下載器提交給引擎的response響應(yīng)對象進(jìn)行攔截，切對其內(nèi)部存儲的頁面數(shù)據(jù)進(jìn)行篡改，修改成攜帶了動態(tài)加載出的新聞數(shù)據(jù)，然后將被篡改的response對象最終交給Spiders進(jìn)行解析操作。

3.selenium在scrapy中的使用流程：

• 重寫爬蟲文件的構(gòu)造方法，在該方法中使用selenium實(shí)例化一個(gè)瀏覽器對象（因?yàn)闉g覽器對象只需要被實(shí)例化一次）

• 重寫爬蟲文件的closed(self,spider)方法，在其內(nèi)部關(guān)閉瀏覽器對象。該方法是在爬蟲結(jié)束時(shí)被調(diào)用

• 重寫下載中間件的process_response方法，讓該方法對響應(yīng)對象進(jìn)行攔截，并篡改response中存儲的頁面數(shù)據(jù)

• 在配置文件中開啟下載中間件

4.實(shí)例：

# 1.spider文件

import scrapy
from wangyiPro.items import WangyiproItem
from selenium import webdriver

class WangyiSpider(scrapy.Spider):
  name = 'wangyi'
  # allowed_domains = ['www.xxx.con']
  start_urls = ['https://news.163.com/']
  # 瀏覽器實(shí)例化的操作只會被執(zhí)行一次
  bro = webdriver.Chrome(executable_path='chromedriver.exe')

  urls = []# 最終存放的就是5個(gè)板塊對應(yīng)的url

  def parse(self, response):
    li_list = response.xpath('//*[@id="index2016_wrap"]/div[1]/div[2]/div[2]/div[2]/div[2]/div/ul/li')
    for index in [3,4,6,7,8]:
      li = li_list[index]
      new_url = li.xpath('./a/@herf').extract_first()
      self.urls.append(new_url)

      # 對5大板塊對應(yīng)的url進(jìn)行請求發(fā)送
      yield scrapy.Request(url=new_url,callback=self.parse_news)

  # 用來解析每一個(gè)板塊對應(yīng)的新聞數(shù)據(jù)【只能解析到新聞的標(biāo)題】
  def parse_news(self,response):
    div_list = response.xpath('//div[@class="ndi_main"]/div')
    for div in div_list:
      title = div.xpath('./div/div[1]/h4/a/text()').extract_first()
      news_detail_url = div.xpath('./div/div[1]/h4/a/@href').extract_first()
      # 實(shí)例化item對象，將解析到的標(biāo)題和內(nèi)容存儲到item對象中
      item = WangyiproItem()
      item['title'] = title
      # 對詳情頁的url進(jìn)行手動請求發(fā)送獲得新聞內(nèi)容
      yield scrapy.Request(url=news_detail_url,callback=self.parse_detail,meta={'item':item})

  def parse_detail(self,response):
    item = response.meta['item']
    # 通過response解析出新聞內(nèi)容
    content = response.xpath('//div[@id="endText"]//text()').extract()
    content = ''.join(content)

    item['content'] = content
    yield item

  def close(self,spider):
    # 當(dāng)爬蟲結(jié)束之后，調(diào)用關(guān)閉瀏覽器方法
    print('爬蟲整體結(jié)束~~~~~~~~~~~~~~~~~~~')
    self.bro.quit()
----------------------------------------------------------------------------------------
# 2.items文件

import scrapy

class WangyiproItem(scrapy.Item):
  # define the fields for your item here like:
  # name = scrapy.Field()
  title = scrapy.Field()
  content = scrapy.Field()
----------------------------------------------------------------------------------------
# 3.middlewares文件

from scrapy import signals
from scrapy.http import HtmlResponse
from time import sleep

class WangyiproDownloaderMiddleware(object):

  def process_request(self, request, spider):
    return None

  def process_response(self, request, response, spider):
    # 判斷哪些響應(yīng)對象是5個(gè)板塊的，如果在就對響應(yīng)對象進(jìn)行處理
    if response.url in spider.urls:
      # 獲取在爬蟲類中定義好的瀏覽器
      bro = spider.bro
      bro.get(response.url)

      bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
      sleep(1)
      bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
      sleep(1)
      bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
      sleep(1)
      bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
      sleep(1)

      # 獲取攜帶了新聞數(shù)據(jù)的頁面源碼數(shù)據(jù)
      page_text = bro.page_source
      # 實(shí)例化一個(gè)新的響應(yīng)對象
      new_response = HtmlResponse(url=response.url,body=page_text,encoding='utf-8',request=request)
      return new_response
    else:
      return response

  def process_exception(self, request, exception, spider):
    pass
----------------------------------------------------------------------------------------
# 4.pipelines文件

class WangyiproPipeline(object):
  def process_item(self, item, spider):
    print(item)
    return item
----------------------------------------------------------------------------------------
# 5.setting文件
BOT_NAME = 'wangyiPro'

SPIDER_MODULES = ['wangyiPro.spiders']
NEWSPIDER_MODULE = 'wangyiPro.spiders'

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'

ROBOTSTXT_OBEY = False

DOWNLOADER_MIDDLEWARES = {
  'wangyiPro.middlewares.WangyiproDownloaderMiddleware': 543,
}

ITEM_PIPELINES = {
  'wangyiPro.pipelines.WangyiproPipeline': 300,
}

LOG_LEVEL = 'ERROR'

關(guān)于selenium如何 在python中使用問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注億速云行業(yè)資訊頻道了解更多相關(guān)知識。