溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

用python爬蟲scrapy框架中獲取內容對的示例

發(fā)布時間:2020-11-23 09:55:54 來源:億速云 閱讀:178 作者:小新 欄目:編程語言

這篇文章主要介紹用python爬蟲scrapy框架中獲取內容對的示例,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!

Items介紹

爬取的主要目標就是從非結構性的數據源提取結構性數據,例如網頁。 Scrapy spider可以以python的dict來返回提取的數據.雖然dict很方便,并且用起來也熟悉,但是其缺少結構性,容易打錯字段的名字或者返回不一致的數據,尤其在具有多個spider的大項目中。

為了定義常用的輸出數據,Scrapy提供了 Item 類。 Item 對象是種簡單的容器,保存了爬取到得數據。 其提供了 類似于詞典(dictionary-like) 的API以及用于聲明可用字段的簡單語法。

許多Scrapy組件使用了Item提供的額外信息: exporter根據Item聲明的字段來導出數據、 序列化可以通過Item字段的元數據(metadata)來定義、 trackref 追蹤Item實例來幫助尋找內存泄露 (see 使用 trackref 調試內存泄露) 等等。

Item 對象是種簡單的容器,保存了爬取到得數據。 其提供了 類似于詞典(dictionary-like) 的API以及用于聲明可用字段的簡單語法。

Scrapy中,items是用來加載抓取內容的容器,提供了一些額外的保護減少錯誤。

一般來說,item可以用scrapy.item.Item類來創(chuàng)建,并且用scrapy.item.Field對象來定義屬性。

接下來,我們開始來構建item模型(model)。

首先,我們想要的內容有:

  • 排名(ranking)

  • 電影名稱(movie_name)

  • 電影評分(score)

  • 評論人數(score_num)

  • 格言(quote)

 

Item使用簡單的class定義語法以及Field對象來聲明。我們打開scrapyspider目錄下的items.py文件寫入下列代碼聲明Item:

用python爬蟲scrapy框架中獲取內容對的示例

以上是用python爬蟲scrapy框架中獲取內容對的示例的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注億速云行業(yè)資訊頻道!

向AI問一下細節(jié)

免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI