Python如何搭建爬蟲程序

這期內容當中小編將會給大家?guī)碛嘘PPython如何搭建爬蟲程序，文章內容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

      開發(fā)工具

Python版本：3.6.4

相關模塊：

scrapy模塊；

pyecharts==1.5.1模塊；

wordcloud模塊；

jieba模塊；

以及一些python自帶的模塊。

環(huán)境搭建

安裝Python并添加到環(huán)境變量，pip安裝需要的相關模塊即可。

數(shù)據(jù)爬取

先隨手推一波自己開源的利用requests進行模擬登錄的庫：

https://github.com/CharlesPikachu/DecryptLogin

目前該庫支持模擬登錄的網(wǎng)站包括：

1\. 微博

后續(xù)會不斷添加和完善該庫的功能以及該庫相關的一些小應用。當然，今天是用不上了，因為我發(fā)現(xiàn)他喵的知乎的粉絲數(shù)據(jù)竟然一直是一個裸的API，即使是改版之后，也不需要驗證什么登錄后的cookies之類的東西直接就能抓取到了。

言歸正傳，簡單說說這個數(shù)據(jù)怎么抓取吧，其實很簡單，F(xiàn)12打開開發(fā)者工具，刷新一下關注者頁面，就可以發(fā)現(xiàn)：

請求這個接口直接就能返回目標用戶的粉絲數(shù)據(jù)了，接口的組成形式為：

https://www.zhihu.com/api/v4/members/{用戶域名}/followers?

沒有什么特別需要注意的地方，不用懷疑，就是這么簡單，scrapy新建一個項目爬就完事了：

scrapy startproject zhihuFansSpider

定義一下items:

class ZhihufansspiderItem(scrapy.Item):

然后新建并寫一個爬蟲主程序就OK啦：

'''知乎粉絲小爬蟲'''

運行以下命令開始爬取目標用戶的粉絲數(shù)據(jù)：

scrapy crawl zhihuFansSpider -o followers_info.json -t json

    數(shù)據(jù)可視化

老規(guī)矩，可視化一下爬到數(shù)據(jù)唄(這里就以我自己知乎賬號的關注者數(shù)據(jù)為例好了T_T)。

先畫個粉絲主頁標題的詞云壓壓驚？

![https://upload-images.jianshu.io/upload_images/2539976-ada286149ecb2285?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

上述就是小編為大家分享的Python如何搭建爬蟲程序了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業(yè)資訊頻道。