Python怎么爬取高質(zhì)量超清壁紙

這篇文章主要介紹“Python怎么爬取高質(zhì)量超清壁紙”，在日常操作中，相信很多人在Python怎么爬取高質(zhì)量超清壁紙問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”P(pán)ython怎么爬取高質(zhì)量超清壁紙”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

基本開(kāi)發(fā)環(huán)境

• Python 3.6

• Pycharm

相關(guān)模塊的使用

import requests
import re
import os

安裝Python并添加到環(huán)境變量，pip安裝需要的相關(guān)模塊即可。

一、明確需求

如圖所示爬取里面的高清壁紙

二、網(wǎng)頁(yè)數(shù)據(jù)分析

所以只需要獲取這個(gè)鏈接就可以了爬取壁紙圖片了。

返回列表的可以發(fā)現(xiàn)，網(wǎng)頁(yè)是瀑布流加載方式，當(dāng)你往下滑才會(huì)有數(shù)據(jù)出現(xiàn)。所以可以在下滑網(wǎng)頁(yè)的前，先打開(kāi)開(kāi)發(fā)者工具，當(dāng)下滑網(wǎng)頁(yè)的時(shí)候新加載出來(lái)的數(shù)據(jù)會(huì)出現(xiàn)。

通過(guò)對(duì)比可以知道，這個(gè)數(shù)據(jù)包中包含了，壁紙圖片下載的地址。

需要注意的就是這個(gè)數(shù)據(jù)鏈接是post請(qǐng)求，并不是get請(qǐng)求

需要提交的data參數(shù)，就是對(duì)應(yīng)的頁(yè)碼。

三、代碼實(shí)現(xiàn)

1、獲取圖片ID

    for page in range(1, 11):
        url = 'https://wallpaper.wispx.cn/cat/%E5%8A%A8%E6%BC%AB'
        headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
            'x-requested-with': 'XMLHttpRequest',
        }
        data = {
            'page': page
        }
        response = requests.post(url=url, headers=headers)
        result = re.findall('detail(.*?)target=', response.text)
        for index in result:
            image_id = index.replace('\\', '').replace('" ', '')
            page_url = f'https://wallpaper.wispx.cn/detail{image_id}'

2、獲取壁紙url地址，并保存

def main(page_url):
    html_data = get_response(page_url).text
    image_url = re.findall('<a class="mdui-ripple mdui-ripple-white" href="(.*?)">', html_data)[0]
    image_title = re.findall('<title>(.*?)</title>', html_data)[0].split(' - ')[0]
    image_content = get_response(image_url).content
    path = 'images\\'
    if not os.path.exists(path):
        os.makedirs(path)
    with open(path + image_title + '.jpg', mode='wb') as f:
        f.write(image_content)
        print('正在保存：', image_title)

需要注意的點(diǎn)：

請(qǐng)求頭里面要防盜鏈，不然就下載不了。

def get_response(html_url):
    header = {
        'referer': 'https://wallpaper.wispx.cn/detail/1206',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }
    resp = requests.get(url=html_url, headers=header)
    return resp

四、實(shí)現(xiàn)效果

到此，關(guān)于“Python怎么爬取高質(zhì)量超清壁紙”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！