scrapy調(diào)用parse()和parse()調(diào)用func()的方法

這篇“scrapy調(diào)用parse()和parse()調(diào)用func()的方法”文章的知識(shí)點(diǎn)大部分人都不太理解，所以小編給大家總結(jié)了以下內(nèi)容，內(nèi)容詳細(xì)，步驟清晰，具有一定的借鑒價(jià)值，希望大家閱讀完這篇文章能有所收獲，下面我們一起來(lái)看看這篇“scrapy調(diào)用parse()和parse()調(diào)用func()的方法”文章吧。

在scrapy中調(diào)用parse()方法，parse()方法中調(diào)用其他函數(shù)func()，func需要返回Item，使用方法如下：

#在parse()中調(diào)用其他yield函數(shù)，需要寫(xiě)成寫(xiě)成循環(huán)并yield其中的內(nèi)容

def parse():

    # 正確調(diào)用

    for item in parse_comment(a, b):

        yield item

    # 錯(cuò)誤調(diào)用,無(wú)法得到數(shù)據(jù)

    parse_comment(a, b)

def parse_comment(a,b):

    for a in b:

        yield c

yield

yield 的作用就是把一個(gè)函數(shù)變成一個(gè)生成器(generator)，帶有yield的函數(shù)不再是一個(gè)普通函數(shù).Python解釋器會(huì)將其視為一個(gè)generator，單獨(dú)調(diào)用（如fab(5)）不會(huì)執(zhí)行fab函數(shù)，而是返回一個(gè) iterable 對(duì)象！

在for循環(huán)執(zhí)行時(shí)，每次循環(huán)都會(huì)執(zhí)行fab函數(shù)內(nèi)部的代碼，執(zhí)行到y(tǒng)ield b時(shí)，fab函數(shù)就返回一個(gè)迭代值，下次迭代時(shí)，代碼從 yield b 的下一條語(yǔ)句繼續(xù)執(zhí)行，而函數(shù)的本地變量看起來(lái)和上次中斷執(zhí)行前是完全一樣的，于是函數(shù)繼續(xù)執(zhí)行，直到再次遇到 yield。

結(jié)論：yield要使用在循環(huán)中，這樣生成器才有使用的意義。

def fab(max):

   n, a, b = 0, 0, 1

   while n < max:

      # print b

      yield b

      # print b

      a, b = b, a + b

      n = n + 1

print(fab(5))  # 輸出：<generator object fab at 0x00000000069D8A68>

for n in fab(5):

    print n    # 依次1,1,2,3,5

#對(duì)于含有yield的函數(shù)，外部要以迭代的方式調(diào)用，當(dāng)函數(shù)執(zhí)行結(jié)束時(shí)，generator 自動(dòng)拋出 StopIteration 異常，表示迭代完成。

# 在 for 循環(huán)里，無(wú)需處理 StopIteration 異常，循環(huán)會(huì)正常結(jié)束。

def ff(max):

   a,b = 0,1

   yield max  # yield不在循環(huán)中，這里已經(jīng)到函數(shù)最后所以直接返回，相當(dāng)于return

for n in ff(5):

   print n    # 輸出：5

以上就是關(guān)于“scrapy調(diào)用parse()和parse()調(diào)用func()的方法”這篇文章的內(nèi)容，相信大家都有了一定的了解，希望小編分享的內(nèi)容對(duì)大家有幫助，若想了解更多相關(guān)的知識(shí)內(nèi)容，請(qǐng)關(guān)注億速云行業(yè)資訊頻道。