Python爬蟲一般會用什么框架?常見的五種框架介紹!

　　Python爬蟲一般會用到什么框架?哪個框架好?Python的發(fā)展讓大家對它更加了解了，而且對于大型的企業(yè)來說，Python框架是非常重要的，那么Python爬蟲框架有哪些?介紹為大家介紹五種常用的類型。

　　1、Scrapy：Scrapy是一個為了爬取網(wǎng)站數(shù)據(jù)，提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架。 可以應(yīng)用在包括數(shù)據(jù)挖掘，信息處理或存儲歷史數(shù)據(jù)等一系列的程序中。它是很強(qiáng)大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數(shù)據(jù)。但是對于稍微復(fù)雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：HTML, XML源數(shù)據(jù) 選擇及提取 的內(nèi)置支持;提供了一系列在spider之間共享的可復(fù)用的過濾器(即 Item Loaders)，對智能處理爬取數(shù)據(jù)提供了內(nèi)置支持。

　　2、PySpider：pyspider 是一個用python實現(xiàn)的功能強(qiáng)大的網(wǎng)絡(luò)爬蟲系統(tǒng)，能在瀏覽器界面上進(jìn)行腳本的編寫，功能的調(diào)度和爬取結(jié)果的實時查看，后端使用常用的數(shù)據(jù)庫進(jìn)行爬取結(jié)果的存儲，還能定時設(shè)置任務(wù)與任務(wù)優(yōu)先級等。

　　3、Crawley：Crawley可以高速爬取對應(yīng)網(wǎng)站的內(nèi)容，支持關(guān)系和非關(guān)系數(shù)據(jù)庫，數(shù)據(jù)可以導(dǎo)出為JSON、XML等。

　　4、Portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網(wǎng)站!簡單地注釋自己感興趣的頁面，Portia將創(chuàng)建一個蜘蛛來從類似的頁面提取數(shù)據(jù)。簡單來講，它是基于scrapy內(nèi)核;可視化爬取內(nèi)容，不需要任何開發(fā)專業(yè)知識;動態(tài)匹配相同模板的內(nèi)容。

　　5、Grab：Grab是一個用于構(gòu)建Web刮板的Python框架。借助Grab，您可以構(gòu)建各種復(fù)雜的網(wǎng)頁抓取工具，從簡單的5行腳本到處理數(shù)百萬個網(wǎng)頁的復(fù)雜異步網(wǎng)站抓取工具。Grab提供一個API用于執(zhí)行網(wǎng)絡(luò)請求和處理接收到的內(nèi)容，例如與HTML文檔的DOM樹進(jìn)行交互。

　　以上就是五種常見的Python爬蟲主流框架介紹了，這五種框架各有千秋，大家可以根據(jù)自身的需求來決定實用場景。