您好,登錄后才能下訂單哦!
今天小編給大家分享一下python批量抓取的方法的相關(guān)知識(shí)點(diǎn),內(nèi)容詳細(xì),邏輯清晰,相信大部分人都還太了解這方面的知識(shí),所以分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后有所收獲,下面我們一起來(lái)了解一下吧。
其中用到urllib2模塊和正則表達(dá)式模塊。下面直接上代碼:
1 用python批量抓取
2
3 #!/usr/bin/env python
4 #-*- coding: utf-8 -*-
5 #通過(guò)urllib(2)模塊下載網(wǎng)絡(luò)內(nèi)容
6 import urllib,urllib2,gevent
7 #引入正則表達(dá)式模塊,時(shí)間模塊
8 import re,time
9 from gevent import monkey
15 monkey.patch_all()
16
17 def geturllist(url):
18 url_list=[]
19 print url
20 s = urllib2.urlopen(url)
21 text = s.read()
22 #正則匹配,匹配其中的圖片
23 html = re.search(r'<ol.*</ol>', text, re.S)
24 urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)
25 for i in urls:
26 url=i.group(1).strip()+str("jpg")
27 url_list.append(url)
28 return url_list
29
30 def download(down_url):
31 name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
32 print name
33 urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)
34
35 def getpageurl():
36 page_list = []
37 #進(jìn)行列表頁(yè)循環(huán)
38 for page in range(1,700):
39 url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
40 #把生成的url加入到page_list中
41 page_list.append(url)
42 print page_list
43 return page_list
44 if __name__ == '__main__':
45 jobs = []
46 pageurl = getpageurl()[::-1]
47 #進(jìn)行圖片下載
48 for i in pageurl:
49 for (downurl) in geturllist(i):
50 jobs.append(gevent.spawn(download, downurl))
51 gevent.joinall(jobs)
以上就是“python批量抓取的方法”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家閱讀完這篇文章都有很大的收獲,小編每天都會(huì)為大家更新不同的知識(shí),如果還想學(xué)習(xí)更多的知識(shí),請(qǐng)關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。