Python爬蟲中獲取百科段子的案例

這篇文章將為大家詳細(xì)講解有關(guān)Python爬蟲中獲取百科段子的案例，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

糗事百科在前一段時(shí)間進(jìn)行了改版，導(dǎo)致之前的代碼沒(méi)法用了，會(huì)導(dǎo)致無(wú)法輸出和 CPU 占用過(guò)高的情況，是因?yàn)檎齽t表達(dá)式?jīng)]有匹配到的緣故。 現(xiàn)在，博主已經(jīng)對(duì)程序進(jìn)行了重新修改，代碼親測(cè)可用。

 首先我們確定好頁(yè)面的URL。初步構(gòu)建如下的代碼來(lái)打印頁(yè)面代碼內(nèi)容試試看，先構(gòu)造最基本的頁(yè)面抓取方式，看看會(huì)不會(huì)成功。

# -*- coding:utf-8 -*-
import urllib
import urllib2
 
 
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
try:
    request = urllib2.Request(url)
    response = urllib2.urlopen(request)
    print response.read()
except urllib2.URLError, e:
    if hasattr(e,"code"):
        print e.code
    if hasattr(e,"reason"):
        print e.reason

運(yùn)行程序，哦不，它竟然報(bào)錯(cuò)了，真是時(shí)運(yùn)不濟(jì)，命途多舛啊

line 373, in _read_status
 raise BadStatusLine(line)
httplib.BadStatusLine: ''

好吧，應(yīng)該是 headers 驗(yàn)證的問(wèn)題，我們加上一個(gè) headers 驗(yàn)證試試看吧，將代碼修改如下

# -*- coding:utf-8 -*-
import urllib
import urllib2
 
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
    request = urllib2.Request(url,headers = headers)
    response = urllib2.urlopen(request)
    print response.read()
except urllib2.URLError, e:
    if hasattr(e,"code"):
        print e.code
    if hasattr(e,"reason"):
        print e.reason

嘿嘿，這次運(yùn)行終于正常了，打印出了第一頁(yè)的 HTML 代碼，大家可以運(yùn)行下代碼試試看。在這里運(yùn)行結(jié)果太長(zhǎng)就不貼了。

關(guān)于Python爬蟲中獲取百科段子的案例就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。