Python如何基于requests庫爬取網(wǎng)站信息

小編給大家分享一下Python如何基于requests庫爬取網(wǎng)站信息，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

python的五大特點(diǎn)是什么

python的五大特點(diǎn)：1.簡單易學(xué)，開發(fā)程序時(shí)，專注的是解決問題,而不是搞明白語言本身。2.面向?qū)ο?，與其他主要的語言如C++和Java相比, Python以一種非常強(qiáng)大又簡單的方式實(shí)現(xiàn)面向?qū)ο缶幊獭?.可移植性，Python程序無需修改就可以在各種平臺(tái)上運(yùn)行。4.解釋性，Python語言寫的程序不需要編譯成二進(jìn)制代碼,可以直接從源代碼運(yùn)行程序。5.開源，Python是 FLOSS(自由/開放源碼軟件)之一。

requests庫是一個(gè)簡介且簡單的處理HTTP請求的第三方庫

get()是獲取網(wǎng)頁最常用的方式，其基本使用方式如下

使用requests庫獲取HTML頁面并將其轉(zhuǎn)換成字符串后，需要進(jìn)一步解析HTML頁面格式，這里我們常用的就是beautifulsoup4庫，用于解析和處理HTML和XML

下面這段代碼便是爬取百度的信息并簡單輸出百度的界面信息

import requests
from bs4 import BeautifulSoup
r=requests.get('http://www.baidu.com')
r.encoding=None
result=r.text
bs=BeautifulSoup(result,'html.parser')
print(bs.title)
print(bs.title.text)

import requests
from bs4 import BeautifulSoup

#用來解決亂碼現(xiàn)象，所以編寫爬取信息的代碼最好帶上（輸出出現(xiàn)亂碼或者UnicodeEncodeError：'gbk'codec can't encode character） 
import io   
import sys
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

#用來防止反爬取，可以了解一下
headers={"User-Agent" : "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6)",
　　"Accept" : "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
　　"Accept-Language" : "en-us",
　　"Connection" : "keep-alive",
　　"Accept-Charset" : "GB2312,utf-8;q=0.7,*;q=0.7"
}

#獲取51job網(wǎng)站的基本信息
r=requests.get('https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=')
r.encoding=r.apparent_encoding
result=r.text
bs=BeautifulSoup(result,'html.parser')
print(bs.prettify())

u1=bs.find_all('u1',attrs={'class':'item_con_list'})  #這部分代碼便是我們爬取的目標(biāo)，51job網(wǎng)站上關(guān)于python職業(yè)的薪資
print(len(u1))
li=bs.find_all('span',attrs={'class':'t4'})
for l in li:
  print(l.text)

上面這段代碼便是爬取51job網(wǎng)站上的與python相關(guān)職業(yè)的薪資

以上是“Python如何基于requests庫爬取網(wǎng)站信息”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！