您好,登錄后才能下訂單哦!
如何在python中使用URL管理器模塊?很多新手對此不是很清楚,為了幫助大家解決這個難題,下面小編將為大家詳細(xì)講解,有這方面需求的人可以來學(xué)習(xí)下,希望你能有所收獲。
URL管理器模塊
一般是用來維護(hù)爬取的url和未爬取的url已經(jīng)新添加的url的,如果隊列中已經(jīng)存在了當(dāng)前爬取的url了就不需要再重復(fù)爬取了,另外防止造成一個死循環(huán)。舉個例子
我爬www.baidu.com 其中我抓取的列表中有music.baidu.om,然后我再繼續(xù)抓取該頁面的所有鏈接,但是其中含有www.baidu.com,可以想象如果不做處理的話就成了一個死循環(huán)了,在百度首頁和百度音樂頁循環(huán),所以有一個對列來維護(hù)URL是很重要的。
下面以python代碼實現(xiàn)為例,使用的deque雙向隊列方便取出以前的url。
from collections import deque class URLQueue(): def __init__(self): self.queue = deque() # 待抓取的網(wǎng)頁 self.visited = set() # 已經(jīng)抓取過的網(wǎng)頁 def new_url_size(self): ''''' 獲取未爬取URL集合的大小 :return: ''' return len(self.queue) def old_url_size(self): ''''' 獲取已爬取URL的大小 :return: ''' return len(self.visited) def has_new_url(self): ''''' 判斷是否有未爬取的URL :return: ''' return self.new_url_size() != 0 def get_new_url(self): ''''' 獲取一個未爬取的URL :return: ''' new_url = self.queue.popleft()#從左側(cè)取出一個鏈接 self.old_urls.add(new_url)#記錄已經(jīng)抓取 return new_url def add_new_url(self, url): ''''' 將新的URL添加到未爬取的URL集合 :param url: 單個url :return: ''' if url is None: return False if url not in self.new_urls and url not in self.old_urls: self.new_urls.append(url) def add_new_urls(self, urlset): ''''' 將新的URL添加到未爬取的URL集合 :param urlset: url集合 :return: ''' if urlset is None or len(urlset) == 0: return for url in urlset: self.add_new_url(url)
python常用的庫:1.requesuts;2.scrapy;3.pillow;4.twisted;5.numpy;6.matplotlib;7.pygama;8.ipyhton等。
看完上述內(nèi)容是否對您有幫助呢?如果還想對相關(guān)知識有進(jìn)一步的了解或閱讀更多相關(guān)文章,請關(guān)注億速云行業(yè)資訊頻道,感謝您對億速云的支持。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。