怎么用python爬取世界大學(xué)排行數(shù)據(jù)

數(shù)據(jù)獲取

我們這里選取的就是上海交通大學(xué)的 ARWU 網(wǎng)站

該網(wǎng)站包含了歷年的大學(xué)分?jǐn)?shù)以及排名情況。

通過分析頁面可以發(fā)現(xiàn)，通過 pandas 的 read_html 函數(shù)來獲取相關(guān)信息是最為方便的

table = pd.read_html(url)
college = table[0] 

同時(shí)我們還發(fā)現(xiàn)，大學(xué)所對(duì)應(yīng)的國家數(shù)據(jù)是圖片，所以需要特殊處理下

def get_country_name(html):
    soup = BeautifulSoup(html,'lxml')
    countries = soup.select('td > a > img')
    lst = []
    for i in countries:
        src = i['src']
        pattern = re.compile('flag.*/(.*?).png')
        country = re.findall(pattern,src)[0]
        lst.append(country)
    return lst 

最后我們把得到的數(shù)據(jù)進(jìn)行下處理，去除掉不需要的字段，再增加年份字段等

for i in range(2005, 2020):
    print('year', i)
    url = 'http://www.shanghairanking.com/ARWU%s.html' % i
    html = requests.get(url).content
    table = pd.read_html(url)
    college = table[0]
    college.columns = ['world rank','university', 2,3, 'score', 5]
    college.drop([2,3,5],axis = 1,inplace = True)
    college['year'] = i
    college['index_rank'] = college.index
    college['index_rank'] = college['index_rank'].astype(int) + 1
    college['country'] = get_country(html)
    college.to_csv(r'College.csv', mode='a', encoding='utf_8_sig', header=True, index=0)

這樣，我們就得到了 College.csv 文件