Python如何通過(guò)requests模塊實(shí)現(xiàn)抓取王者榮耀全套皮膚

這篇文章主要為大家展示了“Python如何通過(guò)requests模塊實(shí)現(xiàn)抓取王者榮耀全套皮膚”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“Python如何通過(guò)requests模塊實(shí)現(xiàn)抓取王者榮耀全套皮膚”這篇文章吧。

開(kāi)發(fā)工具

Python版本： 3.6.4

相關(guān)模塊：

requests模塊；

urllib模塊；

以及一些Python自帶的模塊。

環(huán)境搭建

安裝Python并添加到環(huán)境變量，pip安裝需要的相關(guān)模塊即可。

思路分析

1、打開(kāi)官方王者榮耀壁紙網(wǎng)站
網(wǎng)站地址：https://pvp.qq.com/web201605/wallpaper.shtml

2、快捷鍵F12，調(diào)出控制臺(tái)進(jìn)行抓包

3、找到正確的鏈接并分析

4、查看返回?cái)?shù)據(jù)格式

5、解析url鏈接

6、查看url內(nèi)容是否是所需圖片，發(fā)現(xiàn)其實(shí)是縮略圖

7、那就去分析網(wǎng)站，隨便點(diǎn)開(kāi)一張壁紙，查看指定格式的鏈接

8、找到目標(biāo)地址

9、分析目標(biāo)鏈接和縮略圖的鏈接區(qū)別
縮略圖：http://shp.qpic.cn/ishow/2735090714/1599460171_84828260_8311_sProdImgNo_6.jpg/200

目標(biāo)圖：http://shp.qpic.cn/ishow/2735090714/1599460171_84828260_8311_sProdImgNo_6.jpg/0

可以知道，將指定格式的縮略圖地址后面200替換成0就是目標(biāo)真實(shí)圖片

代碼實(shí)現(xiàn)

import os, time, requests, json, re
from retrying import retry
from urllib import parse
 
class HonorOfKings:
    '''
     This is a main Class, the file contains all documents.
     One document contains paragraphs that have several sentences
     It loads the original file and converts the original file to new content
     Then the new content will be saved by this class
    '''
    def __init__(self, save_path='./heros'):
        self.save_path = save_path
        self.time = str(time.time()).split('.')
        self.url = 'https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&page={}&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=2&iFlowId=267733&iActId=2735&iModuleId=2735&_=%s' % self.time[0]
 
    def hello(self):
        '''
        This is a welcome speech
        :return: self
        '''
        print("*" * 50)
        print(' ' * 18 + '王者榮耀壁紙下載')
        print(' ' * 5 + '作者: Felix  Date: 2020-05-20 13:14')
        print("*" * 50)
        return self
 
    def run(self):
        '''
        The program entry
        '''
        print('↓' * 20 + ' 格式選擇: ' + '↓' * 20)
        print('1.縮略圖 2.1024x768 3.1280x720 4.1280x1024 5.1440x900 6.1920x1080 7.1920x1200 8.1920x1440')
        size = input('請(qǐng)輸入您想下載的格式序號(hào)，默認(rèn)6：')
        size = size if size and int(size) in [1,2,3,4,5,6,7,8] else 6
 
        print('---下載開(kāi)始...')
        page = 0
        offset = 0
        total_response = self.request(self.url.format(page)).text
        total_res = json.loads(total_response)
        total_page = --int(total_res['iTotalPages'])
        print('---總共 {} 頁(yè)...' . format(total_page))
        while True:
            if offset > total_page:
                break
            url = self.url.format(offset)
            response = self.request(url).text
            result = json.loads(response)
            now = 0
            for item in result["List"]:
                now += 1
                hero_name = parse.unquote(item['sProdName']).split('-')[0]
                hero_name = re.sub(r'[【】:.<>|·@#$%^&() ]', '', hero_name)
                print('---正在下載第 {} 頁(yè) {} 英雄 進(jìn)度{}/{}...' . format(offset, hero_name, now, len(result["List"])))
                hero_url = parse.unquote(item['sProdImgNo_{}'.format(str(size))])
                save_path = self.save_path + '/' + hero_name
                save_name = save_path + '/' + hero_url.split('/')[-2]
                if not os.path.exists(save_path):
                    os.makedirs(save_path)
                if not os.path.exists(save_name):
                    with open(save_name, 'wb') as f:
                        response_content = self.request(hero_url.replace("/200", "/0")).content
                        f.write(response_content)
            offset += 1
        print('---下載完成...')
 
    @retry(stop_max_attempt_number=3)
    def request(self, url):
        '''
        Send a request
        :param url: the url of request
        :param timeout: the time of request
        :return: the result of request
        '''
        response = requests.get(url, timeout=10)
        assert response.status_code == 200
        return response
 
if __name__ == "__main__":
    HonorOfKings().hello().run()

本期完整源代碼可以私信獲取

代碼運(yùn)行結(jié)果

以上是“Python如何通過(guò)requests模塊實(shí)現(xiàn)抓取王者榮耀全套皮膚”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！