您好,登錄后才能下訂單哦!
項(xiàng)目需要繼續(xù)爬點(diǎn)昵稱~~~先上代碼
#coding=utf-8 import urllib,urllib2 import re from bs4 import BeautifulSoup import time import sys reload(sys) sys.setdefaultencoding('utf-8') #獲取要下載圖片的整個(gè)頁(yè)面的信息 def getHtml(url): page=urllib2.urlopen(url) html=page.read() # print html return html #篩選數(shù)據(jù)并打印到本地 def getImg(html): soup=BeautifulSoup(html,'html.parser') dls=soup.find_all('dl',attrs={'class':'feed_list'}) for index in range(len(dls)): p=dls[index].find_all('p')[0] print p.text f=open("nichengnan.txt","a") for index in range(len(dls)): nicheng=dls[index].find_all('p')[0].text f.write(nicheng) f.write('\r\n') f.close() user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_4) AppleWebKit/600.7.12 (KHTML, like Gecko) Version/8.0.7 Safari/600.7.12' headers={"User-Agent":user_agent} page=201 length=0 while page<231: url='http://www.qzone.cc/wangming/fav/list_'+str(page)+'.html' print "正在爬取第"+str(page)+"頁(yè)......." # print "這里呢" request=urllib2.Request(url,headers=headers) html=getHtml(request) getImg(html) page=page+1 time.sleep(0.5) f=open('nichengnan.txt','r') lines=f.readlines() print "當(dāng)前一共"+str(len(lines))+"條昵稱" f.close()
爬的是網(wǎng)址
http://www.qzone.cc/wangming/day/list_1.html
跟上一個(gè)帖子里基本一樣。。。找到規(guī)則后直接BS爬取。區(qū)別就是這里是手動(dòng)輸入定義要爬取的頁(yè)碼數(shù),不必像那個(gè)一樣一個(gè)網(wǎng)址一個(gè)網(wǎng)址復(fù)制。不過(guò)手動(dòng)改寫(xiě)網(wǎng)址貌似還是有點(diǎn)麻煩。。。。后面可以通過(guò)分析最后一頁(yè)的“下一頁(yè)”和前面的有啥區(qū)別。稍后看看能不能解決。先這樣
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。