Python系列爬蟲如何進行攜程旅游景點數(shù)據(jù)爬取與可視化

今天就跟大家聊聊有關(guān)Python系列爬蟲如何進行攜程旅游景點數(shù)據(jù)爬取與可視化，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

前言

今天我們就用爬蟲攜程旅游景點數(shù)據(jù)爬取與可視化并做簡單的數(shù)據(jù)可視化分析唄。讓我們愉快地開始吧~

開發(fā)工具

Python版本：3.6.4

相關(guān)模塊：

bs4模塊；

jieba模塊；

pyecharts模塊；

wordcloud模塊；

requests模塊；

以及一些Python自帶的模塊。

環(huán)境搭建

安裝Python并添加到環(huán)境變量，pip安裝需要的相關(guān)模塊即可。

數(shù)據(jù)爬取

首先，我們來明確一下我們想要爬取的數(shù)據(jù)是哪些，這里為了方便起見，我們只爬取北京市的旅游景點數(shù)據(jù)，如下圖所示：

即我們需要爬取的數(shù)據(jù)為北京市所有景點的名稱，位置，評分等數(shù)據(jù)。明確了我們的爬取目標(biāo)，就可以開始寫代碼啦~

代碼實現(xiàn)起來其實也很簡單，可以發(fā)現(xiàn)景點信息頁的url變化規(guī)律如下：

'https://you.ctrip.com/sight/beijing1/s0-p頁碼.html#sightname'

那么我們只需要逐一請求所有相關(guān)網(wǎng)頁，并借助bs4解析并提取我們需要的數(shù)據(jù)即可。同時，為了避免爬蟲被封，我們每請求10次網(wǎng)頁，就更換一個代理，代理來源則是網(wǎng)上爬取的免費代理。

具體而言，代碼實現(xiàn)如下：

'''攜程旅游景點爬蟲'''

代碼運行效果如下：

All done~完整源代碼詳見個人簡介或者私信獲取相關(guān)文件。

數(shù)據(jù)可視化

老規(guī)矩，寫完爬蟲可視化一波數(shù)據(jù)，方便起見，還是用剛剛爬取的北京景點數(shù)據(jù)吧~

首先，把所有景點的位置信息做成詞云看看？

看看景點的評分分布唄：

再來統(tǒng)計一下景區(qū)評級分布唄：

其中，5A級景區(qū)有：

故宮

再來看看價格分布唄：

最后看看評論最多的8個景區(qū)是啥如何？

看完上述內(nèi)容，你們對Python系列爬蟲如何進行攜程旅游景點數(shù)據(jù)爬取與可視化有進一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。