溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
有時候我們會需要從網(wǎng)絡上爬取一些圖片，來滿足我們形形色色直至不可描述的需求。
一個典型的簡單爬蟲項目步驟包括兩步：獲取網(wǎng)頁地址和提取保存數(shù)據(jù)。
這里是一個簡單的從圖片url收集圖片的例子，可以成為一個小小的開始。
獲取地址
這些圖片的URL可能是連續(xù)變化的，如從001遞增到099，這種情況可以在程序中將共同的前面部分截取，再在最后遞增并字符串化后循環(huán)即可。
抑或是它們的URL都保存在某個文件中，這時可以讀取到列表中：
def getUrls(path):
urls = []
with open(path,'r') as f:
for line in f:
urls.append(line.strip('\n'))
return(urls)
保存圖片
在python3中，urllib提供了一系列用于操作URL的功能，其中的request模塊可以非常方便地抓取URL內容，也就是發(fā)送一個GET請求到指定的頁面，然后返回HTTP的響應。具體細節(jié)請看注釋：
def requestImg(url, name, num_retries=3):
img_src = url
# print(img_src)
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \
AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/35.0.1916.114 Safari/537.36',
'Cookie': 'AspxAutoDetectCookieSupport=1'
}
# Request類可以使用給定的header訪問URL
req = urllib.request.Request(url=img_src, headers=header)
try:
response = urllib.request.urlopen(req) # 得到訪問的網(wǎng)址
filename = name + '.jpg'
with open(filename, "wb") as f:
content = response.read() # 獲得圖片
f.write(content) # 保存圖片
response.close()
except HTTPError as e: # HTTP響應異常處理
print(e.reason)
except URLError as e: # 一定要放到HTTPError之后，因為它包含了前者
print(e.reason)
except IncompleteRead or RemoteDisconnected as e:
if num_retries == 0: # 重連機制
return
else:
requestImg(url, name, num_retries-1)
其他
捕獲異常
以下是批量爬取網(wǎng)頁時可能需要捕獲的異常，同時可以看出，urllib2庫對應urllib庫，而httplib庫對應http.client：
| Python2 | Pyhton3 |
|---|---|
| urllib2.HTTPError | urllib.error.HTTPError |
| urllib2.URLError | urllib.error.URLError (HTTPError被包含其中) |
| httplib.IncompleteRead | http.client.IncompleteRead |
| httplib.RemoteDisconnected | http.client.RemoteDisconnected |
重連機制
在函數(shù)參數(shù)中設置一個參數(shù)num_retries并對其進行初始化，即默認參數(shù)。在某些異常出現(xiàn)時可以將該參數(shù)遞減，再讓它遞歸調用自身，這就是基本的重連機制。
修飾器
有種設計模式叫修飾器模式，它可以在不修改目標函數(shù)代碼的前提下，在目標函數(shù)執(zhí)行前后增加一些額外功能。
def clock(func): # 修飾器函數(shù)，對函數(shù)計時
def clocked(*args):
t0 = timeit.default_timer()
result = func(*args)
elapsed = timeit.default_timer() - t0
name = func.__name__
arg_str = ', '.join(repr(arg) for arg in args)
print('[%0.8fs] %s(%s)' % (elapsed, name, arg_str))
# print('%s(%s) -> %r [%0.8fs]' % (name, arg_str, result, elapsed))
return result
return clocked
上面這段代碼是修飾器函數(shù)的一個例子，用來對函數(shù)運行時間進行計時，在需要計時的函數(shù)上一行添加一點點代碼即可：
@clock
完整代碼
from urllib.error import HTTPError, URLError
from http.client import IncompleteRead, RemoteDisconnected
import timeit, time
import urllib.request
import socket
# timeout = 20
# socket.setdefaulttimeout(timeout) # 等待，防止被簡單地反爬
def getUrls(path):
urls = []
with open(path,'r') as f:
for line in f:
urls.append(line.strip('\n'))
return(urls)
def clock(func): # 修飾器函數(shù)，對函數(shù)計時
def clocked(*args):
t0 = timeit.default_timer()
result = func(*args)
elapsed = timeit.default_timer() - t0
name = func.__name__
arg_str = ', '.join(repr(arg) for arg in args)
print('[%0.8fs] %s(%s)' % (elapsed, name, arg_str))
# print('%s(%s) -> %r [%0.8fs]' % (name, arg_str, result, elapsed))
return result
return clocked
@clock
def requestImg(url, name, num_retries=3):
img_src = url
# print(img_src)
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \
AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/35.0.1916.114 Safari/537.36',
'Cookie': 'AspxAutoDetectCookieSupport=1'
}
req = urllib.request.Request(url=img_src, headers=header)
try:
response = urllib.request.urlopen(req)
filename = name + '.jpg'
with open(filename, "wb") as f:
content = response.read()
f.write(content)
response.close()
except HTTPError as e:
print(e.reason)
except URLError as e:
print(e.reason)
except IncompleteRead or RemoteDisconnected as e:
if num_retries == 0:
return
else:
requestImg(url, name, num_retries-1)
if __name__ =='__main__':
urls = getUrls('./'URLS.txt') # 換成你的URL文件路徑
nLines = len(urls)
print(nLines)
for index, value in enumerate(urls):
requestImg(value, './'+str(index).zfill(6)) # zfill用來格式化數(shù)字：000001
以上這篇Python3直接爬取圖片URL并保存示例就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持億速云。
免責聲明：本站發(fā)布的內容（圖片、視頻和文字）以原創(chuàng)、轉載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權內容。
