Python怎么利用正則表達(dá)式爬取網(wǎng)頁(yè)信息及圖片

小編給大家分享一下Python怎么利用正則表達(dá)式爬取網(wǎng)頁(yè)信息及圖片，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

一、正則表達(dá)式是什么?

概念:

正則表達(dá)式是對(duì)字符串操作的一種邏輯公式，就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個(gè)“規(guī)則字符串”，這個(gè)“規(guī)則字符串”用來(lái)表達(dá)對(duì)字符串的一種過濾邏輯。

正則表達(dá)式是一個(gè)特殊的字符序列，它能幫助你方便的檢查一個(gè)字符串是否與某種模式匹配。

個(gè)人理解:

簡(jiǎn)單來(lái)說(shuō)就是使用正則表達(dá)式來(lái)寫一個(gè)過濾器來(lái)過濾了掉雜亂的無(wú)用的信息(eg:網(wǎng)頁(yè)源代碼…)從中來(lái)獲取自己想要的內(nèi)容

二、實(shí)戰(zhàn)項(xiàng)目

1.爬取內(nèi)容

獲取上海所有三甲醫(yī)院的名稱并保存到.txt文件中

2.訪問鏈接

上海三甲醫(yī)院網(wǎng)站 link：https://yyk.99.com.cn/sanjia/shanghai/

3.正則表達(dá)式書寫的靈感

進(jìn)入網(wǎng)站查看本頁(yè)面的源代碼發(fā)現(xiàn) ：醫(yī)院的名稱都是放在一個(gè)

<div class="province-box"> ...... </div>

盒子里我們只需要直接把這個(gè)盒子里面的數(shù)據(jù)過濾一下就行

正則表達(dá)式:

法一:

1.一級(jí)過濾 : 

   <div class="province-box">(.*)<div class="wrap-right">

開頭是:<div class="province-box"> (.*)  結(jié)尾是:<div class="wrap-right">

2.二級(jí)過濾:

 title="(.*[院心部]）*)" 獲取title=" " 里面的信息

法二:

優(yōu)化后一次性過濾:

 <li><a href="/[^/].*/" rel="external nofollow" rel="external nofollow" target="_blank" title="(.*)">

貼圖片

開頭是:

結(jié)尾是:

4.項(xiàng)目源代碼

import requests
import re

url = "https://yyk.99.com.cn/sanjia/shanghai/"
# 模擬瀏覽器的訪問
headers ={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:87.0) '
                        'Gecko/20100101 Firefox/87.0'}
res = requests.get(url,headers=headers)

if res.status_code == 200:
	#1.獲取網(wǎng)頁(yè)源代碼
    raw_text = res.text
    
    #2.正則表達(dá)式書寫:
    #2.2注意:正則表達(dá)式默認(rèn)匹配的是一行  我們的源代碼是多行匹配的要加另一個(gè)參數(shù) re.DOTALL
	#2.3正則法一:
		#re.findall() 返回的是lsit集合 一次過濾
    re_res = re.findall(r'<div class="province-box">(.*)<div class="wrap-right">', raw_text,re.DOTALL)
    	#re_res[0] 獲取下標(biāo)是的數(shù)據(jù)    二次過濾
    res=re.findall(r'title="(.*[院心部]）*)"',re_res[0])
    	#檢查打印獲取到的信息
	print(res)
	
	#2.4正則法二:
		#(優(yōu)化)不用二次過濾 一次過濾就解決了
    # re_list = re.findall(r'<li><a href="/[^/].*/" rel="external nofollow"  rel="external nofollow"  target="_blank" title="(.*)">', res.text)
    #print(re_list)

    # 寫入文件中
    read = open("上海醫(yī)院名單", "w", encoding='utf-8')
    for i in res:
        read.write(i)
        read.write("\n")
    read.close()
else:
    print("error")

項(xiàng)目目錄:

部分結(jié)果:

python 正則表達(dá)式-提取圖片地址

import os,sys,time,json,time
import socket,random,hashlib
import requests,configparser
import json,re
from datetime import datetime
from multiprocessing.dummy import Pool as ThreadPool


def getpicurl(url):
    url = "http://www.mzitu.com/zipai/comment-page-352"
    html = requests.get(url).text
    pic_url = re.findall('img src="(.*?)"',html,re.S)
    for key in pic_url:
        print(key + "\r\n")
    #print(pic_url)
    
getpicurl("http://www.mzitu.com/zipai/comment-pag.e-352")

輸出結(jié)果：

python mmm.py
http://wx3.sinaimg.cn/mw1024/9d52c073gy1fsvu6578k1j20sg15nk4x.jpg

http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu64q4lgj20j60nz0ua.jpg

http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu67hhbaj20sg110toc.jpg

http://wx2.sinaimg.cn/mw1024/9d52c073gy1fsvu66bw56j20sg0zjtlr.jpg

http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu65vvvtj20sg0mmtfc.jpg

http://wx2.sinaimg.cn/mw1024/9d52c073gy1fsvu66gtnzj20sg0zk48h.jpg

http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu65q1qyj20sg11vtmo.jpg

http://wx3.sinaimg.cn/mw1024/9d52c073gy1fsvu64wgejj20e60iwtax.jpg

http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu66a8xfj20lt0rptgw.jpg

http://wx4.sinaimg.cn/mw1024/9d52c073gy1fsnr6n7n66j20k00ozn52.jpg

http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsnr6njhjyj20sg0zkn88.jpg

http://wx3.sinaimg.cn/mw1024/9d52c073gy1fsnr6n2zmyj20sg0ldten.jpg

以上是“Python怎么利用正則表達(dá)式爬取網(wǎng)頁(yè)信息及圖片”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！