Python如何爬取視頻

需要的Python模塊有：requests模塊、bs4模塊、threading模塊、sys模塊、urllib模塊、os模塊
下面簡(jiǎn)要的介紹一下在這個(gè)程序中所使用的Python模塊的作用：
requests模塊：主要用于爬取網(wǎng)頁(yè)數(shù)據(jù)；
bs4模塊:主要用于解析爬取得到的數(shù)據(jù)信息；
threading模塊：主要用于下載所有的.ts文件，提高下載速度；
sys模塊：如果程序中間出現(xiàn)錯(cuò)誤，終止整個(gè)程序代碼,使用sys.exit()方法；
urllib模塊：用于對(duì)用戶(hù)輸入的信息進(jìn)行編碼，主要使用urllib.parse.urlencode()方法；
os模塊：用于得到一個(gè)文件夾下面所有的文件(或者文件夾)(在這里是得到文件)，使用os.listdir()方法。

2. 爬取視頻的鏈接、簡(jiǎn)介和名稱(chēng)

首先，我們要來(lái)到這個(gè)網(wǎng)址下面：YM影視
在搜索欄上面輸入一部視頻的名稱(chēng)：小編在這里輸入的是：斗羅大陸，點(diǎn)擊搜索按鈕，來(lái)到下面的畫(huà)面：

接下倆我們需要得到的內(nèi)容就是這些了，按電腦鍵盤(pán)的F12鍵，來(lái)到開(kāi)發(fā)者工具，可以發(fā)現(xiàn)，這些內(nèi)容和視頻的鏈接在這個(gè)標(biāo)簽下面；

實(shí)現(xiàn)代碼：兩個(gè)函數(shù)

def get_video_content():  # 得到匹配到的相關(guān)電影（或者電視劇）的名稱(chēng)、鏈接、簡(jiǎn)介的列表
    video=input('請(qǐng)輸入你想看的電影或者電視劇名稱(chēng)：')
    keyword=parse.urlencode({'k':video})[2:]   # 對(duì)輸入的名稱(chēng)進(jìn)行編碼
    url='http://ymystv.com/seacher-%s.html'%(keyword)
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3756.400 QQBrowser/10.5.4039.400'}
    response=requests.get(url=url,headers=headers)
    soup=BeautifulSoup(response.text,'lxml')
    list_1=soup.select('li.activeclearfix')
    # list_1列表里面有的內(nèi)容為 電影名稱(chēng)（或者電視劇名稱(chēng)）、鏈接、簡(jiǎn)介等
    return list_1

def get_video_contents(list_1:list): # 進(jìn)一步處理得到的內(nèi)容（解析）
    list_url=[] # 視頻的鏈接
    listName=[] # 視頻名稱(chēng)
    for i in range(len(list_1)):
        url=list_1[i].select('div.detail>h4>a')[0]['href']
        url='http://ymystv.com/'+url[url.rfind('./')+2:]
        list_url.append(url)
        name=list_1[i].select('div.detail>h4>a')[0].text
        listName.append(name)
        print('【{}】-{}'.format(i+1,name)) # 電影或者電視劇的名稱(chēng)
        str1=list_1[i].select('div.detail>div.m-description')[0].text # 電影或者電視劇的簡(jiǎn)介

        # 對(duì)簡(jiǎn)介進(jìn)行字符串處理,并按照每行最多50個(gè)字符輸出
        str1='簡(jiǎn)介:'+str1[str1.find('簡(jiǎn)  介 ：')+6:].strip() # 去空格
        for j in range(len(str1)//50+1):
            print('{}'.format(str1[j*50:(j+1)*50]))
        # print('{}'.format(str1)) # 沒(méi)處理的輸出結(jié)果
        print('*'+'--'*36)

    id=int(input('請(qǐng)輸入你想看的序號(hào):'))

    return list_url[id-1],listName[id-1]

運(yùn)行結(jié)果:

之后就是選擇我們想看的視頻了，我選擇的是 龍王傳說(shuō) 也就是上面的序號(hào)6，雖然我沒(méi)有顯示出它，
點(diǎn)進(jìn)去之后，可以發(fā)現(xiàn)，這里有許多集，現(xiàn)在需要的就是這些集數(shù)的鏈接了。
跟上面一樣，按電腦鍵盤(pán)F12鍵，來(lái)到開(kāi)發(fā)者模式，可以發(fā)現(xiàn)，集數(shù)在這個(gè)標(biāo)簽下面；

3.得到這個(gè)視頻的下載鏈接的json文件

這樣我們就可以得到這些視頻的播放鏈接了，那怎樣下載呢？我們點(diǎn)擊NetWork下面的XHR刷新一下，可以發(fā)現(xiàn)，在這里有一個(gè)視頻接口（你懂的）,只要將這個(gè)接口和剛才我們得到的一個(gè)視頻鏈接組合起來(lái)，在瀏覽器上打開(kāi)，就是一個(gè)json數(shù)據(jù)，如下：

我們只需將這個(gè)鏈接得到，并且得到里面使用的.ts文件的下載鏈接即可。

4.下載所有的.ts文件或者給出.mp4文件的下載鏈接

這里我運(yùn)用的多線程下載，不過(guò)并不是所有的.ts文件都能播放的，但是合并成.MP4之后，是可以的；如果得到是一個(gè).MP4文件的下載鏈接，我會(huì)將它直接輸出，因?yàn)橐粋€(gè).mp4文件比較大，運(yùn)用Python爬蟲(chóng)下載花費(fèi)的時(shí)間比較多，所以這還不如直接運(yùn)用瀏覽器下載。

5.合并所有.ts文件

import os

path=input('請(qǐng)輸入需要合并的絕對(duì)路徑:')
list_1=[path+'\{}.ts'.format(str(ij)) for ij in sorted([int(str_1[:str_1.find('.')]) for str_1 in os.listdir(path)])]
for str_2 in list_1:
    with open(file=str_2,mode='rb') as f:
        content=f.read()
    with open(file='./龍王傳說(shuō)_1.mp4',mode='ab') as fp:
        fp.write(content)

合并保存的那個(gè).MP4文件的名稱(chēng)需要我們自己手動(dòng)修改一下，當(dāng)然讀者也可以改動(dòng)一個(gè)代碼，不過(guò)，我覺(jué)得我的這個(gè)合并還不算好，播放的MP4還是有一些問(wèn)題的，讀者如果有什么更好的合并方法，可以在下方留言，謝謝！

6.運(yùn)行結(jié)果和最終代碼

運(yùn)行結(jié)果：

代碼：
代碼我已經(jīng)上傳到github上了，讀者可以自行到上面查看，鏈接為：
video.py