scrapy項(xiàng)目中如何實(shí)現(xiàn)給spider傳參

發(fā)布時(shí)間：2020-11-19 15:08:38 來(lái)源：億速云閱讀：150 作者：Leah 欄目：開(kāi)發(fā)技術(shù)

scrapy項(xiàng)目中如何實(shí)現(xiàn)給spider傳參？相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

第一種方法，在命令行用crawl控制spider爬取的時(shí)候，加上-a選項(xiàng)，例如：

scrapy crawl myspider -a category=electronics

然后在spider里這樣寫(xiě)：

import scrapy

class MySpider(scrapy.Spider):
  name = 'myspider'

  def __init__(self, category=None, *args, **kwargs):
    super(MySpider, self).__init__(*args, **kwargs)
    self.start_urls = ['http://www.example.com/categories/%s' % category]
    # ...

也就是在spider的構(gòu)造函數(shù)里加上帶入的參數(shù)即可。

第二種方法，在用scrapyd控制spider的時(shí)候，可以向schedule.json發(fā)送-d選項(xiàng)加入?yún)?shù)，同樣的，也需要在spider的構(gòu)造函數(shù)里如上寫(xiě)法。例如：

$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1

另外，如果需要在scrapy發(fā)出的request上加入?yún)?shù)，可以使用request的meta參數(shù)，然后就可以相應(yīng)的在返回的respose對(duì)象中獲得傳入的參數(shù)。這在某些情況下相當(dāng)有用，比如說(shuō)需要確定這個(gè)url是哪個(gè)用戶請(qǐng)求爬取的，可以先用上面兩種方法之一將信息傳遞給spider，spider就可以把這個(gè)信息加入到request中，然后在相應(yīng)的reponse中就可以將這個(gè)信息與從url的頁(yè)面中獲得的信息一起存入數(shù)據(jù)庫(kù)。例如：

def parse_page1(self, response):
  item = MyItem()
  item['main_url'] = response.url
  request = scrapy.Request("http://www.example.com/some_page.html",
               callback=self.parse_page2)
  request.meta['item'] = item
  return request

def parse_page2(self, response):
  item = response.meta['item']
  item['other_url'] = response.url
  return item

看完上述內(nèi)容，你們掌握scrapy項(xiàng)目中如何實(shí)現(xiàn)給spider傳參的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！

向AI問(wèn)一下細(xì)節(jié)

scrapy項(xiàng)目中如何實(shí)現(xiàn)給spider傳參

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽