您好,登錄后才能下訂單哦!
這篇文章主要介紹怎么用python爬蟲多線程快速獲取視頻,文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!
先看請(qǐng)求的URL
https://api.bilibili.com/medialist/gateway/base/spaceDetail?media_id=88854277&pn=1&ps=20&keyword=&order=mtime&type=0&tid=0&jsonp=jsonp
media_id是收藏夾的id號(hào),pn是代表哪一分頁(yè),ps是當(dāng)前分頁(yè)中視頻數(shù)量。
那么我們就可以調(diào)用這個(gè)api來(lái)拿到所有收藏的視頻了。
我們的視頻分頁(yè)當(dāng)然不可能只有一頁(yè),所以我們可以遍歷pn遞增。
i = 1 while 1 : url = 'https://api.bilibili.com/medialist/gateway/base/spaceDetail?media_id=88854277&pn='+ str(i) +'&ps=20&keyword=?=mtime&type=0&tid=0&jsonp=jsonp' html = requests.get(url) i = i + 1 print(html.text)
這樣就能拿到一個(gè)收藏夾下所有視頻了,當(dāng)i超過(guò)收藏夾頁(yè)數(shù)時(shí),直接異常退出即可。
接下來(lái)我們需要解析出每一個(gè)視頻的id。
根據(jù)json解析,我們很容易就能用
res['data']['medias']
來(lái)獲得所有的視頻,然后再根據(jù)下標(biāo)解析出每一個(gè)視頻。
res = json.loads(html.text) len_video = len(res['data']['medias']) for id in range(0,len_video): create_thread(res['data']['medias'][id])
這樣我們就可以獲取當(dāng)前頁(yè)視頻數(shù)量,然后創(chuàng)建線程進(jìn)行下載了,因?yàn)橄螺d是一個(gè)非常占IO的事情,如果你單線程執(zhí)行,下載一個(gè)視頻再下載另一個(gè),這樣會(huì)很慢,我們可以給每一個(gè)視頻創(chuàng)建一個(gè)線程來(lái)提高速度。
def create_thread(res): thread = myThread(res['id'],res['title'],res['id']) thread.start()
創(chuàng)建線程的線程號(hào)是視頻的id號(hào),線程名是視頻名。
class myThread(threading.Thread): # 繼承父類threading.Thread def __init__(self, threadID, name, counter): threading.Thread.__init__(self) self.threadID = threadID self.name = name self.counter = counter def run(self): download_video(self.threadID)
線程類如上,里面有兩個(gè)函數(shù),__init__是默認(rèn)的線程初始化函數(shù),里面就是我們創(chuàng)建線程時(shí)傳入的id和name。第二個(gè)函數(shù)是線程執(zhí)行時(shí)的run方法,也就是我們定義線程的具體要做的事,里面只有一個(gè)download_video方法。
# 下載視頻 def download_video(av_id): os.system('you-get -o d:/vedio/ https://www.bilibili.com/video/av'+str(av_id))
在下載函數(shù)中,我們可以調(diào)用you-get來(lái)幫助我們解析下載視頻(不要問(wèn)為什么調(diào)you-get,自己解析太麻煩了)。
下載完成后:
以上是“怎么用python爬蟲多線程快速獲取視頻”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。