python中user-agent怎么反爬蟲(chóng)

這篇文章給大家分享的是有關(guān)python中user-agent怎么反爬蟲(chóng)的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

1、說(shuō)明

user-agent：是識(shí)別瀏覽器的一串字符串，相當(dāng)于瀏覽器的身份證，在利用爬蟲(chóng)爬取網(wǎng)站數(shù)據(jù)時(shí)，頻繁更換User-agent可以避免觸發(fā)相應(yīng)的反爬機(jī)制。

2、安裝

需要就用到了fake-useragent包，直接在anaconda控制臺(tái)安裝fake-useragent包即可；

3、實(shí)例

form fake-useragent import UserAgent
 
ua = UserAgent()
headers = {
    'User-Agent' : ua.random #隨機(jī)生成一個(gè)UserAgent
}
url = 'https://www.baidu.com/'
page = requests.get(url, headers=headers)

python的五大特點(diǎn)是什么

python的五大特點(diǎn)：1.簡(jiǎn)單易學(xué)，開(kāi)發(fā)程序時(shí)，專注的是解決問(wèn)題,而不是搞明白語(yǔ)言本身。2.面向?qū)ο?，與其他主要的語(yǔ)言如C++和Java相比, Python以一種非常強(qiáng)大又簡(jiǎn)單的方式實(shí)現(xiàn)面向?qū)ο缶幊獭?.可移植性，Python程序無(wú)需修改就可以在各種平臺(tái)上運(yùn)行。4.解釋性，Python語(yǔ)言寫(xiě)的程序不需要編譯成二進(jìn)制代碼,可以直接從源代碼運(yùn)行程序。5.開(kāi)源，Python是 FLOSS(自由/開(kāi)放源碼軟件)之一。

感謝各位的閱讀！關(guān)于“python中user-agent怎么反爬蟲(chóng)”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！