怎么用python爬取中國(guó)大學(xué)排名網(wǎng)站排名信息

今天就跟大家聊聊有關(guān)怎么用python爬取中國(guó)大學(xué)排名網(wǎng)站排名信息，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

 程序解決問(wèn)題如下:

利用python網(wǎng)絡(luò)爬蟲爬取中國(guó)大學(xué)排名網(wǎng)站上的排名信息，將排名前20的大學(xué)的信息保存為文本文件，并在窗口打印出這20所大學(xué)的信息，按列打印和保存。

程序代碼如下：

import requests
from bs4 import BeautifulSoup
import bs4
 
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
 
def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            hdfd = tds[0].find('div')
            tt = hdfd.string.split()
            ff = "".join(tt)
            attr = tds[1].find('a')
            hh = tds[4].string.split()
            hg = "".join(hh)
            shf=tds[2].text.split()
            shfn="".join(shf)
            ulist.append([ff, attr.string,shfn,hg])
 
 
def printUnivList(ulist, num):
    tplt = "{0:^10}\t{1:{4}^10}\t{2:^10}\t{3:^10}"
    print(tplt.format("排名","學(xué)校名稱","省份","總分", chr(12288)))
    with open('save.txt', 'w+', encoding='utf-8') as f:
        f.write(tplt.format("排名","學(xué)校名稱","省份","總分", chr(12288)))
        f.write('\n')
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0], u[1], u[2],u[3],chr(12288)))
        with open('save.txt', 'a', encoding='utf-8') as f:
            f.write(tplt.format(u[0], u[1], u[2],u[3],chr(12288)))
            f.write('\n')
 
def main():
    with open('save.txt', 'w+', encoding='utf-8') as f:
        f.write("排名,學(xué)校,省份,總分\n")
        f.close()
    uinfo = []
    url = 'https://www.shanghairanking.cn/rankings/bcur/2021'
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20)
main()

程序運(yùn)行結(jié)果如下：

看完上述內(nèi)容，你們對(duì)怎么用python爬取中國(guó)大學(xué)排名網(wǎng)站排名信息有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。