您好,登錄后才能下訂單哦!
本篇內(nèi)容主要講解“Python怎么爬取搜狐證券股票數(shù)據(jù)”,感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷,實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“Python怎么爬取搜狐證券股票數(shù)據(jù)”吧!
我們以上證50的股票為例,首先需要找到一個(gè)網(wǎng)站包含這五十只股票的股票代碼,例如這里我們使用搜狐證券提供的列表。
https://q.stock.sohu.com/cn/bk_4272.shtml
可以看到,在這個(gè)網(wǎng)站中有上證50的所有股票代碼,我們希望爬取的就是這個(gè)包含股票代碼的表,并獲取這個(gè)表的第一列。
爬取網(wǎng)站的數(shù)據(jù)我們使用 Beautiful Soup 這個(gè)工具包,需要注意的是,一般只能爬取到靜態(tài)網(wǎng)頁(yè)中的信息。
簡(jiǎn)單來(lái)說(shuō),Beautiful Soup 是 Python 的一個(gè)庫(kù),最主要的功能是從網(wǎng)頁(yè)抓取數(shù)據(jù)。
像往常一樣,使用這個(gè)庫(kù)之前,我們需要先導(dǎo)入該庫(kù) bs4。除此之外,我們還需要使用 requests 這個(gè)工具獲取網(wǎng)站信息,因此導(dǎo)入這兩個(gè)庫(kù):
import bs4 as bs import requests
我們定義一個(gè)函數(shù) saveSS50Tickers() 來(lái)實(shí)現(xiàn)上證50股票代碼的獲取,獲取的數(shù)據(jù)來(lái)自于搜狐證券的網(wǎng)頁(yè),使用 get() 方法獲取給定靜態(tài)網(wǎng)頁(yè)的數(shù)據(jù)。
def saveSS50Tickers(): resp = requests.get('https://q.stock.sohu.com/cn/bk_4272.shtml')
接下來(lái)我們打開(kāi)搜狐證券的這個(gè)網(wǎng)址,在頁(yè)面任意位置右鍵選擇 查看元素,或者 Inspect Element,或者類(lèi)似的選項(xiàng)來(lái)查看當(dāng)前網(wǎng)站的源代碼信息。
我們需要先在這里找出網(wǎng)頁(yè)的一些基本信息和我們需要爬取的數(shù)據(jù)的特征。
首先,找到 Element,在下面的內(nèi)容中找到網(wǎng)頁(yè)的 頭文件 (head)。然后找到網(wǎng)頁(yè)的 文字的編碼方式。這里這個(gè)網(wǎng)頁(yè)文字的編碼方式是 gb2312。
如果我們想爬取并正確顯示這個(gè)網(wǎng)頁(yè)上,就需要先對(duì)獲取到的網(wǎng)頁(yè)內(nèi)容解碼。
解碼可以使用 encoding 這個(gè)方法:
resp.encoding = 'gb2312'
接下來(lái)使用 BeautifulSoup 和 lxml 解析網(wǎng)頁(yè)信息:
soup = bs.BeautifulSoup(resp.text, 'lxml')
這里為了方便后期的處理,首先使用 resp.text 將網(wǎng)頁(yè)信息轉(zhuǎn)成了文本格式,然后再解析網(wǎng)頁(yè)的數(shù)據(jù)。
接下來(lái)我們需要在網(wǎng)頁(yè)的源碼中找到需要爬取信息的標(biāo)簽,這里我們需要爬取這個(gè)表格中的信息,首先,可以通過(guò)網(wǎng)站源碼的搜索功能搜索表格里的相關(guān)數(shù)據(jù)定位到表格的源碼。
同樣以這個(gè)頁(yè)面為例,一般網(wǎng)頁(yè)使用 HTML 語(yǔ)言編譯的,因?yàn)橐獪?zhǔn)確定位,我們需要了解一些 HTML 語(yǔ)言的基礎(chǔ)內(nèi)容。在這個(gè)頁(yè)面的源碼中,
<table 表示表格開(kāi)始,后面是這個(gè)表格的一些屬性。</table> 表示表格結(jié)束。
首先,我們使用 soup.find 在網(wǎng)頁(yè)信息中找到這個(gè)表格標(biāo)簽的入口:
table = soup.find('table', {'id': 'BIZ_MS_plstock'})
其中 'table' 表示這里需要找到一個(gè)表格,{'id': 'BIZ_MS_plstock'} 則是通過(guò)內(nèi)容或者屬性實(shí)現(xiàn)表格的進(jìn)一步定位。
找到表格的位置之后,我們需要繼續(xù)查找需要的數(shù)據(jù),同樣以這個(gè)頁(yè)面為例:
在網(wǎng)頁(yè)開(kāi)發(fā)語(yǔ)言中,
<tr 表示表格中開(kāi)始新的一行,<td 表示在這一行中又新建了一列,而 </td> 則表示這一列結(jié)束了,對(duì)應(yīng)的 </tr> 則表示這一行結(jié)束了。
通過(guò)該網(wǎng)頁(yè)的源碼,我們可以發(fā)現(xiàn),
表格的第一行和第二行都是表頭的信息,第三行開(kāi)始是五十家公司的股票信息。另外每家公司的股票代碼在表格的第一列位置。
因?yàn)?,在Python中,我們需要從表格的第三行開(kāi)始抓取,每行抓取表格的第一列的數(shù)據(jù),將抓取到的數(shù)據(jù)轉(zhuǎn)換成文本格式,我們用一個(gè)列表 tickers 來(lái)存儲(chǔ)抓取到的數(shù)據(jù):
tickers = [] for row in table.findAll('tr')[2:]: ticker = row.findAll('td')[0].text tickers.append(ticker + '.SS')
因此為了方便后續(xù)進(jìn)行數(shù)據(jù)處理,這里我們存儲(chǔ)上證50的每家公司的股票代碼時(shí),都在代碼后面再添加 '.SS' 的字符。這時(shí)我們運(yùn)行目前的代碼,并將列表 tickers 輸出:
# 導(dǎo)入 beautiful soup4 包,用于抓取網(wǎng)頁(yè)信息 import bs4 as bs # 導(dǎo)入 pickle 用于序列化對(duì)象 import pickle # 導(dǎo)入 request 用于獲取網(wǎng)站上的源碼 import requests def saveSS50Tickers(): resp = requests.get('https://q.stock.sohu.com/cn/bk_4272.shtml') resp.encoding = 'gb2312' soup = bs.BeautifulSoup(resp.text, 'lxml') # print(soup) table = soup.find('table', {'id': 'BIZ_MS_plstock'}) # print(table) tickers = [] # print(table.find_all('tr')) for row in table.findAll('tr')[2:]: # print(row) ticker = row.findAll('td')[0].text tickers.append(ticker + '.SS') return tickers tickers = saveSS50Tickers() print(tickers)
觀察到輸出信息如下:
['600036.SS', '601229.SS', '600031.SS', '601166.SS', '600104.SS', '600030.SS', '603259.SS', '601668.SS', '601628.SS', '601766.SS', '601857.SS', '601398.SS', '601390.SS', '600029.SS', '600028.SS', '601818.SS', '601211.SS', '601066.SS', '601111.SS', '600837.SS', '600887.SS', '601888.SS', '600690.SS', '600519.SS', '600016.SS', '601989.SS', '601988.SS', '601601.SS', '600019.SS', '601186.SS', '600703.SS', '600196.SS', '601318.SS', '601800.SS', '600050.SS', '601319.SS', '601288.SS', '601688.SS', '603993.SS', '600309.SS', '600048.SS', '600276.SS', '601138.SS', '601336.SS', '601088.SS', '600585.SS', '600000.SS', '601328.SS', '601939.SS', '600340.SS']
這樣我們就從搜狐證券這個(gè)網(wǎng)站上爬取到了上證50的公司股票代碼,并將其以字符串的格式存放在了一個(gè)列表變量中。
一般像股票代碼這種內(nèi)容,短時(shí)間內(nèi)不會(huì)有很大的變動(dòng),所以我們也不需要每次使用時(shí)重新爬取,一種方便的做法是可以將股票代碼信息以文件的格式保存到本地,需要使用時(shí)直接從本地讀取就可以了。
這里我們將股票代碼數(shù)據(jù)保存為 pickle 格式。pickle 格式的數(shù)據(jù)可以在 Python 中高效的存取,當(dāng)然,將文件導(dǎo)出成該格式前需要先導(dǎo)入相應(yīng)的pickle 庫(kù):
import pickle
pickle可以保存任何數(shù)據(jù)格式的數(shù)據(jù),在經(jīng)常存取的場(chǎng)景(保存和恢復(fù)狀態(tài))下讀取更加高效。
把文件導(dǎo)出成 pickle 格式的方法是 pickle.dump,同時(shí)需要結(jié)合文件讀寫(xiě)操作:
with open('SS50tickers.pickle', 'wb') as f: pickle.dump(tickers, f)
這里的 'SS50tickers.pickle' 就是保存的文件的名稱,'wb' 則表示向文件中寫(xiě)入數(shù)據(jù)。pickle.dump(tickers, f) 表示將列表 tickers 寫(xiě)入到文件中。
到此,相信大家對(duì)“Python怎么爬取搜狐證券股票數(shù)據(jù)”有了更深的了解,不妨來(lái)實(shí)際操作一番吧!這里是億速云網(wǎng)站,更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢,關(guān)注我們,繼續(xù)學(xué)習(xí)!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。