如何使用python爬取千萬(wàn)條基金數(shù)據(jù)

基金代碼

爬取基金的數(shù)據(jù)有個(gè)必要條件就是要知道基金代碼，如何獲取呢，打開(kāi)官網(wǎng)找吧。

點(diǎn)了一圈，發(fā)現(xiàn)了基金代碼的主頁(yè)，尋思翻頁(yè)爬取就完事了

http://fund.eastmoney.com/allfund.html

結(jié)果沒(méi)想到F12打開(kāi)下圖中的fundcode_search.js

 

右鍵新標(biāo)簽頁(yè)打開(kāi)→

發(fā)現(xiàn)所有的基金代碼都在，那么就更簡(jiǎn)單了呀。

import requests
import re
import json
import pandas as pd

url = 'http://fund.eastmoney.com/js/fundcode_search.js'
r = requests.get(url)
a = re.findall('var r = (.*])', r.text)[0]  
b = json.loads(a)
fundcode = pd.DataFrame(b, columns=['fundcode', 'fundsx', 'name', 'category', 'fundpy']) 
fundcode = fundcode.loc[:, ['fundcode', 'name', 'category']]
fundcode.to_csv('fundcode_search.csv', index=False, encoding='utf-8-sig')

 

運(yùn)行獲得所有基金代碼共10736條數(shù)據(jù)。

爬取基金歷史

有了上萬(wàn)個(gè)基金代碼，再爬取他們近三年的凈值數(shù)據(jù)，那四舍五入不就是千萬(wàn)條數(shù)據(jù)嘞~

之前就已經(jīng)給出了方法，同樣打開(kāi)基金網(wǎng)站，用瀏覽器自帶流量分析工具可以輕松找到數(shù)據(jù)接口。

其中callback為返回js回調(diào)函數(shù)，可以刪除，funCode為基金代碼，pageIndex為頁(yè)碼，pageSize為每頁(yè)返回的數(shù)據(jù)條數(shù)是，startDate和endDate分別為開(kāi)始時(shí)間和結(jié)束時(shí)間。^[1]

fundCode = '001618'  #基金代碼
pageIndex = 1
startDate = '2018-02-22'  #起始時(shí)間
endDate = '2020-07-10'   #截止時(shí)間
header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0',
    'Referer': 'http://fundf10.eastmoney.com/jjjz_{0}.html'.format(fundCode)
}
url = 'http://api.fund.eastmoney.com/f10/lsjz?fundCode={0}&pageIndex={1}&pageSize=5000&startDate={2}&endDate={3}&_=1555586870418?'\
    .format(fundCode, pageIndex, startDate, endDate)
response = requests.get(url, headers=header)