您好,登錄后才能下訂單哦!
距上次假期端午結(jié)束已經(jīng)47天過去了。。。依然還是沒有假期,想出去好多地方玩啊。你們是不是也在期待著假期呀,不過夏天也熱,下次的假期大概就是中秋國(guó)慶了,那會(huì)兒還算是比較涼爽。心血來潮,就想爬一下大家假期最愛去哪玩,作為一個(gè)專業(yè)合格的程序員,我不想再宅家里了,我得規(guī)劃一下下次出行了,哈哈哈,雖然還很遙遠(yuǎn)!不行明天就周六了嘛,我周六去玩!哈哈哈,也可以喲!
很多人假期時(shí)間充裕的話,會(huì)選擇了稍微遠(yuǎn)一點(diǎn)的景區(qū),甚至出國(guó)游。各個(gè)景點(diǎn)成了人山人海,擁擠的人群,甚至去衛(wèi)生間都要排隊(duì)半天,那一刻我突然有點(diǎn)理解滅霸的行為了。
今天,通過分析去哪兒網(wǎng)部分城市門票售賣情況,簡(jiǎn)單的分析一下哪些景點(diǎn)比較受歡迎。等下次假期可以做個(gè)參考。
通過請(qǐng)求https://piao.qunar.com/ticket/list.htm?keyword=北京,獲取北京地區(qū)熱門景區(qū)信息,再通過BeautifulSoup去分析提取出我們需要的信息。
這里為了偷懶只爬取了前4頁的景點(diǎn)信息,每頁有15個(gè)景點(diǎn)。因?yàn)槿ツ膬翰]有什么反爬措施,所以直接請(qǐng)求就可以了。
這里只是隨機(jī)選擇了13個(gè)熱門城市:北京, 上海, 成都, 三亞, 廣州, 重慶, 深圳, 西安, 杭州, 廈門, 武漢, 大連, 蘇州。
并將爬取的數(shù)據(jù)存到了MongoDB數(shù)據(jù)庫(kù) 。
爬蟲部分完整代碼如下
import requests from bs4 import BeautifulSoup from pymongo import MongoClient class QuNaEr(): def __init__(self, keyword, page=1): self.keyword = keyword self.page = page def qne_spider(self): url = 'https://piao.qunar.com/ticket/list.htm?keyword=%s®ion=&from=mpl_search_suggest&page=%s' % (self.keyword, self.page) response = requests.get(url) response.encoding = 'utf-8' text = response.text bs_obj = BeautifulSoup(text, 'html.parser') arr = bs_obj.find('div', {'class': 'result_list'}).contents for i in arr: info = i.attrs # 景區(qū)名稱 name = info.get('data-sight-name') # 地址 address = info.get('data-address') # 近期售票數(shù) count = info.get('data-sale-count') # 經(jīng)緯度 point = info.get('data-point') # 起始價(jià)格 price = i.find('span', {'class': 'sight_item_price'}) price = price.find_all('em') price = price[0].text conn = MongoClient('localhost', port=27017) db = conn.QuNaEr # 庫(kù) table = db.qunaer_51 # 表 table.insert_one({ 'name' : name, 'address' : address, 'count' : int(count), 'point' : point, 'price' : float(price), 'city' : self.keyword }) if __name__ == '__main__': citys = ['北京', '上海', '成都', '三亞', '廣州', '重慶', '深圳', '西安', '杭州', '廈門', '武漢', '大連', '蘇州'] for i in citys: for page in range(1, 5): qne = QuNaEr(i, page=page) qne.qne_spider()
效果圖如下
有了數(shù)據(jù),我們就可以分析出自己想要的東西了
1、最受歡迎的15個(gè)景區(qū)
由圖可以看出,在選擇的13個(gè)城市中,最熱門的景區(qū)為上海的迪士尼樂園
代碼如下
from pymongo import MongoClient # 設(shè)置字體,不然無法顯示中文 from pylab import * mpl.rcParams['font.sans-serif'] = ['SimHei'] conn = MongoClient('localhost', port=27017) db = conn.QuNaEr # 庫(kù) table = db.qunaer_51 # 表 result = table.find().sort([('count', -1)]).limit(15) # x,y軸數(shù)據(jù) x_arr = [] # 景區(qū)名稱 y_arr = [] # 銷量 for i in result: x_arr.append(i['name']) y_arr.append(i['count']) """ 去哪兒月銷量排行榜 """ plt.bar(x_arr, y_arr, color='rgb') # 指定color,不然所有的柱體都會(huì)是一個(gè)顏色 plt.gcf().autofmt_xdate() # 旋轉(zhuǎn)x軸,避免重疊 plt.xlabel(u'景點(diǎn)名稱') # x軸描述信息 plt.ylabel(u'月銷量') # y軸描述信息 plt.title(u'拉鉤景點(diǎn)月銷量統(tǒng)計(jì)表') # 指定圖表描述信息 plt.ylim(0, 4000) # 指定Y軸的高度 plt.savefig('去哪兒月銷售量排行榜') # 保存為圖片 plt.show()
2、景區(qū)熱力圖
這里為了方(tou)便(lan),只展示一下北京地區(qū)的景區(qū)熱力圖。用到了百度地圖的開放平臺(tái)。首先需要先注冊(cè)開發(fā)者信息,首頁底部有個(gè)申請(qǐng)秘鑰的按鈕,點(diǎn)擊進(jìn)行創(chuàng)建就可以了。我的應(yīng)用類型選擇的是瀏覽器端,因此只需要組裝數(shù)據(jù)替換掉相應(yīng)html代碼即可。另外還需要將自己訪問應(yīng)用的AK替換掉。效果圖如下
3、景區(qū)價(jià)格
價(jià)格是出游第一個(gè)要考慮的,一開始想統(tǒng)計(jì)一下各城市的平均價(jià)格,但是后來發(fā)現(xiàn)效果不是很好,比如北京的劉老根大舞臺(tái)價(jià)格在580元,這樣拉高了平均價(jià)格。就好比姚明和潘長(zhǎng)江的平均身高在190cm,并沒有什么說服力。所以索性展示一下景區(qū)的價(jià)格分布。
根據(jù)價(jià)格設(shè)置了六個(gè)區(qū)間
通過上圖得知,大部分的景區(qū)門票價(jià)格都在200元以下。每次旅游花費(fèi)基本都在交通、住宿、吃吃喝喝上了。門票占比還是比較少的。
代碼如下
arr = [[0, 50], [50,100], [100, 200], [200,300], [300,500], [500,1000]] name_arr = [] total_arr = [] for i in arr: result = table.count({'price': {'$gte': i[0], '$lt': i[1]}}) name = '%s元 ~ %s元 ' % (i[0], i[1]) name_arr.append(name) total_arr.append(result) color = 'red', 'orange', 'green', 'blue', 'gray', 'goldenrod' # 各類別顏色 explode = (0.2, 0, 0, 0, 0, 0) # 各類別的偏移半徑 # 繪制餅狀圖 pie = plt.pie(total_arr, colors=color, explode=explode, labels=name_arr, shadow=True, autopct='%1.1f%%') plt.axis('equal') plt.title(u'熱點(diǎn)旅游景區(qū)門票價(jià)格比例', fontsize=12) plt.legend(loc=0, bbox_to_anchor=(0.82, 1)) # 圖例 # 設(shè)置legend的字體大小 leg = plt.gca().get_legend() ltext = leg.get_texts() plt.setp(ltext, fontsize=6) # 顯示圖 plt.show()
哈哈哈,對(duì)于我這個(gè)還保持童心的程序員,我還在想下次要不要去上海迪士尼,應(yīng)該是比較快樂的吧,聽說人超多。。。emm,你們想去哪兒呢?
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。