學(xué)習(xí)網(wǎng)絡(luò)爬蟲python會(huì)不會(huì)很難

這篇文章給大家分享的是有關(guān)學(xué)習(xí)網(wǎng)絡(luò)爬蟲python會(huì)不會(huì)很難的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。

Python的優(yōu)點(diǎn)有哪些

1、簡單易用，與C/C++、Java、C# 等傳統(tǒng)語言相比，Python對代碼格式的要求沒有那么嚴(yán)格；2、Python屬于開源的，所有人都可以看到源代碼，并且可以被移植在許多平臺(tái)上使用；3、Python面向?qū)ο螅軌蛑С置嫦蜻^程編程,也支持面向?qū)ο缶幊蹋?、Python是一種解釋性語言，Python寫的程序不需要編譯成二進(jìn)制代碼，可以直接從源代碼運(yùn)行程序；5、Python功能強(qiáng)大，擁有的模塊眾多，基本能夠?qū)崿F(xiàn)所有的常見功能。

網(wǎng)絡(luò)爬蟲python不難學(xué)，在入手方面也是非常簡單的。

1、爬蟲概念

網(wǎng)絡(luò)爬蟲，又稱網(wǎng)頁蜘蛛，是一種根據(jù)一定規(guī)則自動(dòng)捕捉萬維網(wǎng)信息的程序或腳本。

2、爬蟲運(yùn)行方式

大多數(shù)爬行器的運(yùn)行方式是像“發(fā)送請求—獲取頁面—解析頁面—提取并存儲(chǔ)內(nèi)容”這樣，實(shí)際上也模擬了我們使用瀏覽器獲取網(wǎng)頁信息的過程。

簡而言之，當(dāng)我們將請求發(fā)送到服務(wù)器時(shí)，返回頁面，通過對頁面進(jìn)行解析，我們可以提取所需的信息部分，并將其存儲(chǔ)到指定文檔或數(shù)據(jù)庫中。

3、爬蟲實(shí)例

import re
def geturllist():
  # 不訪問網(wǎng)站，而是實(shí)例一個(gè)對象，為了模擬瀏覽器訪問服務(wù)器
  req = urllib2.Request("http://www.budejie.com/video/")
  
  # 添加申請?jiān)L問的header，讓對方服務(wù)器誤以為是瀏覽器申請?jiān)L問
  req.add_header('User-Agent',' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36')
 
  # 打開我剛才創(chuàng)建的實(shí)例對象
  res =urllib2.urlopen(req)
  html = res.read()
  print html # 訪問到了資源代碼
 
  # 定義一個(gè)正則化表達(dá)式為了獲取我要的視頻網(wǎng)址
  reg = r'data-mp4="(.*?)" '
  # 將網(wǎng)頁源碼中的視頻網(wǎng)址找出來
  urllist = re.findall(reg,html)
  # print urllist
 
  # 有20個(gè)視頻網(wǎng)址，用for循環(huán)一個(gè)一個(gè)下載出來
  n = 1
  for url in urllist:
    # url 視頻網(wǎng)址，'%s.mp4'下載后的名字，url.split('/')[-1] 將字符串按照‘/'分開
    urllib.urlretrieve(url,'%s.mp4' %url.split('/')[-1]) # 下載視頻
    n = n+1

感謝各位的閱讀！關(guān)于“學(xué)習(xí)網(wǎng)絡(luò)爬蟲python會(huì)不會(huì)很難”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！