您好,登錄后才能下訂單哦!
這篇文章主要介紹python獲取快手視頻的方法,文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!
首先,打開(kāi)fiddler,fiddler作為http/https 抓包神器,這里就不多介紹。
配置允許https
配置允許遠(yuǎn)程連接也就是打開(kāi)http代理
電腦ip: 192.168.1.110
然后確保手機(jī)和電腦是在一個(gè)局域網(wǎng)下,可以通信。由于我這邊沒(méi)有安卓手機(jī),就用了安卓模擬器代替,效果一樣的。
打開(kāi)手機(jī)瀏覽器,輸入192.168.1.110:8888也就是設(shè)置的代理地址,安裝證書(shū)之后才能抓包
安裝證書(shū)之后,在WiFi設(shè)置修改網(wǎng)絡(luò)手動(dòng)指定http代理
保存后就可以了,fiddler就可以抓到app的數(shù)據(jù)了,打開(kāi)快手刷新,可以看到有很多http請(qǐng)求進(jìn)來(lái),一般接口地址之類的很明顯的,可以看到是json類型的
http post請(qǐng)求,返回?cái)?shù)據(jù)是json ,展開(kāi)后發(fā)現(xiàn)一共是20條視頻信息,先確保是否正確,找一個(gè)視頻鏈接看下。
那就打開(kāi)postman來(lái)測(cè)試,form-data方式提交則報(bào)錯(cuò)
換raw這種
報(bào)錯(cuò)信息不一樣了,試試加上headers
成功返回?cái)?shù)據(jù),多試幾次,發(fā)現(xiàn)每次返回結(jié)果不一樣。
下面就開(kāi)始上代碼
# -*-coding:utf-8-*- # author : Corleone import urllib2,urllib import json,os,re,socket,time,sys import Queue import threading import logging # 日志模塊 logger = logging.getLogger("AppName") formatter = logging.Formatter('%(asctime)s %(levelname)-5s: %(message)s') console_handler = logging.StreamHandler(sys.stdout) console_handler.formatter = formatter logger.addHandler(console_handler) logger.setLevel(logging.INFO) video_q = Queue.Queue() # 視頻隊(duì)列 def get_video(): url = "http://101.251.217.210/rest/n/feed/hot?app=0&lon=121.372027&c=BOYA_BAIDU_PINZHUAN&sys=ANDROID_4.1.2&mod=HUAWEI(HUAWEI%20C8813Q)&did=ANDROID_e0e0ef947bbbc243&ver=5.4&net=WIFI&country_code=cn&iuid=&appver=5.4.7.5559&max_memory=128&oc=BOYA_BAIDU_PINZHUAN&ftt=&ud=0&language=zh-cn&lat=31.319303 " data = { 'type': 7, 'page': 2, 'coldStart': 'false', 'count': 20, 'pv': 'false', 'id': 5, 'refreshTimes': 4, 'pcursor': 1, 'os': 'android', 'client_key': '3c2cd3f3', 'sig': '22769f2f5c0045381203fc57d1b5ad9b' } req = urllib2.Request(url) req.add_header("User-Agent", "kwai-android") req.add_header("Content-Type", "application/x-www-form-urlencoded") params = urllib.urlencode(data) try: html = urllib2.urlopen(req, params).read() except urllib2.URLError: logger.warning(u"網(wǎng)絡(luò)不穩(wěn)定 正在重試訪問(wèn)") html = urllib2.urlopen(req, params).read() result = json.loads(html) reg = re.compile(u"[\u4e00-\u9fa5]+") # 只匹配中文 for x in result['feeds']: try: title = x['caption'].replace("\n","") name = " ".join(reg.findall(title)) video_q.put([name, x['photo_id'], x['main_mv_urls'][0]['url']]) except KeyError: pass def download(video_q): path = u"D:\快手" while True: data = video_q.get() name = data[0].replace("\n","") id = data[1] url = data[2] file = os.path.join(path, name + ".mp4") logger.info(u"正在下載:%s" %name) try: urllib.urlretrieve(url,file) except IOError: file = os.path.join(path, u"神經(jīng)病呀"+ '%s.mp4') %id try: urllib.urlretrieve(url, file) except (socket.error,urllib.ContentTooShortError): logger.warning(u"請(qǐng)求被斷開(kāi),休眠2秒") time.sleep(2) urllib.urlretrieve(url, file) logger.info(u"下載完成:%s" % name) video_q.task_done() def main(): # 使用幫助 try: threads = int(sys.argv[1]) except (IndexError, ValueError): print u"\n用法: " + sys.argv[0] + u" [線程數(shù):10] \n" print u"例如:" + sys.argv[0] + " 10" + u" 爬取視頻 開(kāi)啟10個(gè)線程 每天爬取一次 一次2000個(gè)視頻左右(空格隔開(kāi))" return False # 判斷目錄 if os.path.exists(u'D:\快手') == False: os.makedirs(u'D:\快手') # 解析網(wǎng)頁(yè) logger.info(u"正在爬取網(wǎng)頁(yè)") for x in range(1,100): logger.info(u"第 %s 次請(qǐng)求" % x) get_video() num = video_q.qsize() logger.info(u"共 %s 視頻" %num) # 多線程下載 for y in range(threads): t = threading.Thread(target=download,args=(video_q,)) t.setDaemon(True) t.start() video_q.join() logger.info(u"-----------全部已經(jīng)爬取完成---------------") main()
測(cè)試
多線程下載每次下載2000個(gè)視頻左右,默認(rèn)下載到D:\快手
以上是python獲取快手視頻的方法的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。