python如何爬取2020年中國大學(xué)排名

本篇內(nèi)容介紹了“python如何爬取2020年中國大學(xué)排名”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細閱讀，能夠?qū)W有所成！

爬取中國大學(xué)排名

request 獲取 html
beautiful soup 解析網(wǎng)頁
re 正則表達式匹配內(nèi)容
新建并保存 excel

from bs4 import BeautifulSoup  # 網(wǎng)頁解析  獲取數(shù)據(jù)
import re  # 正則表達式 進行文字匹配
import urllib.request, urllib.error  # 制定url 獲取網(wǎng)頁數(shù)據(jù)
import xlwt

def main():
    baseurl = "http://m.gaosan.com/gaokao/265440.html"
    # 1爬取網(wǎng)頁
    datalist = getData(baseurl)
    savepath = "中國大學(xué)排名.xls"
    saveData(datalist,savepath)

# 正則表達式
paiming = re.compile(r'<td>(.*)</td><td>.*</td><td>.*</td><td>.*</td><td>.*</td>')  # 創(chuàng)建超鏈接正則表達式對象，表示字符串模式，規(guī)則
xuexiao = re.compile(r'<td>.*</td><td>(.*)</td><td>.*</td><td>.*</td><td>.*</td>')
defen   = re.compile(r'<td>.*</td><td>.*</td><td>(.*)</td><td>.*</td><td>.*</td>')
xingji  = re.compile(r'<td>.*</td><td>.*</td><td>.*</td><td>(.*)</td><td>.*</td>')
cengci  = re.compile(r'<td>.*</td><td>.*</td><td>.*</td><td>.*</td><td>(.*)</td>')

# 爬取網(wǎng)頁
def getData(baseurl):
    datalist = []
    html = askURL(baseurl)  # 保存獲取到的網(wǎng)頁源碼
    # print(html)
    #【逐一】解析數(shù)據(jù)  （一個網(wǎng)頁就解析一次）
    soup = BeautifulSoup(html, "html.parser")  # soup是解析后的樹形結(jié)構(gòu)對象
    for item in soup.find_all('tr'):  # 查找符合要求的字符串形成列表
        # print(item)    #測試查看item全部
        data = []  # 保存一個學(xué)校的所有信息
        item = str(item)
        #排名
        paiming1 = re.findall(paiming, item)  # re正則表達式查找指定字符串 0表示只要第一個 前面是標準后面是找的范圍
        # print(paiming1)
        if(not paiming1):
            pass
        else:
            print(paiming1[0])
            data.append(paiming1)
        if(paiming1 in data):
            #學(xué)校名字
            xuexiao1 = re.findall(xuexiao, item)[0]
            # print(xuexiao1)
            data.append(xuexiao1)
            #得分
            defen1 = re.findall(defen, item)[0]
            # print(defen1)
            data.append(defen1)
            #星級
            xingji1 = re.findall(xingji, item)[0]
            # print(xingji1)
            data.append(xingji1)
            #層次
            cengci1 = re.findall(cengci, item)[0]
            # print(cengci1)
            data.append(cengci1)
            # print('-'*80)
        datalist.append(data)  # 把處理好的一個學(xué)校信息放入datalist中
    return datalist


# 得到指定一個url網(wǎng)頁信息內(nèi)容
def askURL(url):
    # 我的初始訪問user agent
    head = {  # 模擬瀏覽器頭部信息，向豆瓣服務(wù)器發(fā)送消息 偽裝用的
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36"
    }
    # 用戶代理表示告訴豆瓣服務(wù)器我們是什么類型的機器--瀏覽器  本質(zhì)是告訴瀏覽器我們可以接受什么水平的文件內(nèi)容
    request = urllib.request.Request(url, headers=head)  # 攜帶頭部信息訪問url
    # 用request對象訪問
    html = ""
    try:
        response = urllib.request.urlopen(request)  # 用urlopen傳遞封裝好的request對象
        html = response.read().decode("utf-8")  # read 讀取 可以解碼 防治亂碼
        # print(html)
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)  # 打印錯誤代碼
        if hasattr(e, "reason"):
            print(e.reason)  # 打印錯誤原因
    return html


# 3保存數(shù)據(jù)
def saveData(datalist, savepath):
    book = xlwt.Workbook(encoding="utf-8", style_compression=0)  # 創(chuàng)建workbook對象   樣式壓縮效果
    sheet = book.add_sheet('中國大學(xué)排名', cell_overwrite_ok=True)  # 創(chuàng)建工作表  一個表單  cell覆蓋
    for i in range(0, 640):
        print("第%d條" % (i + 1))
        data = datalist[i]
        # print(data)
        for j in range(0, 5):  # 每一行數(shù)據(jù)保存進去
            sheet.write(i , j, data[j])  # 數(shù)據(jù)
    book.save(savepath)  # 保存數(shù)據(jù)表


#主函數(shù)
if __name__ == "__main__":  # 當(dāng)程序執(zhí)行時
    # #調(diào)用函數(shù)     程序執(zhí)行入口
    main()
    # init_db("movietest.db")
    print("爬取完畢！")

具體實現(xiàn)效果如下

“python如何爬取2020年中國大學(xué)排名”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！