python爬蟲(chóng)中線(xiàn)程池如何創(chuàng)建并獲取文件

小編給大家分享一下python爬蟲(chóng)中線(xiàn)程池如何創(chuàng)建并獲取文件，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

python的五大特點(diǎn)是什么

python的五大特點(diǎn)：1.簡(jiǎn)單易學(xué)，開(kāi)發(fā)程序時(shí)，專(zhuān)注的是解決問(wèn)題,而不是搞明白語(yǔ)言本身。2.面向?qū)ο?，與其他主要的語(yǔ)言如C++和Java相比, Python以一種非常強(qiáng)大又簡(jiǎn)單的方式實(shí)現(xiàn)面向?qū)ο缶幊獭?.可移植性，Python程序無(wú)需修改就可以在各種平臺(tái)上運(yùn)行。4.解釋性，Python語(yǔ)言寫(xiě)的程序不需要編譯成二進(jìn)制代碼,可以直接從源代碼運(yùn)行程序。5.開(kāi)源，Python是 FLOSS(自由/開(kāi)放源碼軟件)之一。

利用線(xiàn)程池進(jìn)行視頻爬取    

#爬取梨視頻數(shù)據(jù)
import requests
import re
from lxml import etree
from multiprocessing.dummy import Pool
import random

# 定義獲取視頻數(shù)據(jù)方法
def getVideoData(url): # url為列表中的視頻url
  return requests.get(url=url,headers=headers).content

# 定義存儲(chǔ)數(shù)據(jù)方法
def saveVideo(data):
  fileName = str(random.randint(0,5000))+'.mp4'
  with open(fileName,'wb') as fp:
    fp.write(data)

# 爬取數(shù)據(jù)
#實(shí)例化一個(gè)線(xiàn)程池對(duì)象，開(kāi)啟5個(gè)線(xiàn)程池
pool = Pool(5)

url = 'https://www.pearvideo.com/category_1'
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
}
page_text = requests.get(url=url,headers=headers).text
tree = etree.HTML(page_text)
li_list = tree.xpath('//div[@id="listvideoList"]/ul/li')

video_url_list = [] # 存的是將要下載視頻的url
for li in li_list:
  detail_url = 'https://www.pearvideo.com/'+li.xpath('./div/a/@href')[0]
  detail_page = requests.get(url=detail_url,headers=headers).text
  #因?yàn)橐曨l連接不在標(biāo)簽匯中，而是一個(gè)js語(yǔ)句，所以用正則匹配
  video_url = re.findall('srcUrl="(.*?)",vdoUrl',detail_page,re.S)[0]
  video_url_list.append(video_url)
  
# map函數(shù)的應(yīng)用：參數(shù)1：回調(diào)函數(shù)，參數(shù)2：列表；
#將列表中的參數(shù)賦值給回調(diào)函數(shù)的形參，讓回調(diào)函數(shù)處理
video_data_list = pool.map(getVideoData,video_url_list)

pool.map(saveVideo,video_data_list)

以上是“python爬蟲(chóng)中線(xiàn)程池如何創(chuàng)建并獲取文件”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！