Python怎么批量下載陰陽師網(wǎng)站壁紙

這篇文章給大家分享的是有關(guān)Python怎么批量下載陰陽師網(wǎng)站壁紙的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。

最終版本

# 引入系統(tǒng)類庫用于打開關(guān)閉文件
import sys
# 使用文檔解析類庫
from bs4 import BeautifulSoup
# 使用網(wǎng)絡(luò)請求類庫
import requests

#圖片保存目錄
path = 'D:/陰陽師' 
#陰陽師壁紙網(wǎng)站
html_doc = "https://yys.163.com/media/picture.html" 

# 請求
requests_html_doc = requests.get(html_doc).text
# 正則匹配所有href地址
regex = re.compile('.*?href="(.*?)2732x2048.jpg" rel="external nofollow" ')
urls = regex.findall(requests_html_doc)

# set集合可以防止下載的圖片重復(fù)
result = set()
for i in urls:
    result.add(i)

# 計(jì)數(shù)器用于圖片命名
num = 0

# 文件路徑、操作模式、編碼  # r''
# 打開文件錄入圖片
f = open(r'result.txt', 'w', encoding='utf-8')
for a in urls:
    try:
        image_data = requests.get(a).content
        image_name = '{}.jpg'.format(num)  # 給每張圖片命名
        save_path = path + '/' + image_name  # 圖片的保存地址
        with open(save_path, 'wb') as f:
            f.write(image_data)
            print(image_name, '=======================>下載成功?。?！')
            num = num+1  # 下一張圖片名字序號加一
    except:
        pass
# 關(guān)閉文件錄入
f.close()
print("\r\n掃描結(jié)果已寫入到result.txt文件中\(zhòng)r\n")

過程

借鑒代碼

自己從0開始，沒有頭緒，而且對python掌握度不高，那先借鑒別人的代碼開始，第一篇借鑒的代碼如下

# 引入系統(tǒng)類庫
import sys
# 使用文檔解析類庫
from bs4 import BeautifulSoup
# 使用網(wǎng)絡(luò)請求類庫
import urllib.request
path = 'D:/陰陽師'

html_doc = "https://yys.163.com/media/picture.html"
# 獲取請求
req = urllib.request.Request(html_doc)
# 打開頁面
webpage = urllib.request.urlopen(req)

# 讀取頁面內(nèi)容
html = webpage.read()
# 解析成文檔對象
soup = BeautifulSoup(html, 'html.parser')  # 文檔對象

# 非法URL 1
invalidLink1 = '#'
# 非法URL 2
invalidLink2 = 'javascript:void(0)'
# set集合可以防止下載的圖片連接重復(fù)
result = set()
# 計(jì)數(shù)器用于圖片命名
num = 0
# 查找文檔中所有a標(biāo)簽
for k in soup.find_all('a'):
    # print(k)
    # 查找href標(biāo)簽
    link = k.get('href')
    # 過濾沒找到的
    if(link is not None):
        # 過濾非法鏈接
        if link == invalidLink1:
            pass
        elif link == invalidLink2:
            pass
        elif link.find("javascript:") != -1:
            pass
        else:
            result.add(link)

for a in result:
    # 文件路徑、操作模式、編碼  # r''
    f = open(r'result.txt', 'w', encoding='utf-8')
    # image_data = urllib.request.get(url=a).content
    image_data = requests.get(url=a).content
    image_name = '{}.jpg'.format(num)  # 給每張圖片命名
    save_path = path + '/' + image_name  # 圖片的保存地址
    with open(save_path, 'wb') as f:
        f.write(image_data)
        print(image_name, '=======================>下載成功！??！')
        num = num+1  # 下一張圖片名字序號加一
        f.close()

print("\r\n掃描結(jié)果已寫入到result.txt文件中\(zhòng)r\n")

思考urllib.request和requests

借鑒的代碼中使用urllib.request來請求，剛開始學(xué)習(xí)看到的一些代碼實(shí)例也常用urllib.request來發(fā)起請求，之后看到有的代碼使用的是requests。對于我個(gè)人，主觀感受requests更加便捷，少寫了幾行代碼，于是便去查閱了解兩者的區(qū)別。

BeautifulSoup

接觸到了BeautifulSoup，并且在一些文章的評論中看到對BeautifulSoup的稱贊，進(jìn)入文檔查閱了下用法，改變了我之前對python，獲取文檔中部分特征的元素節(jié)點(diǎn)的寫法困難的印象。

Beautiful Soup 4.4.0 文檔

優(yōu)化處理

之所以要加正則匹配，因?yàn)橐婚_始獲取到的圖片鏈接里有空字符串的現(xiàn)象，在下載圖片的時(shí)候直接報(bào)錯(cuò)整個(gè)程序掛掉，而且這個(gè)借鑒代碼中的invalidLink1和invalidLink2看起來屬實(shí)不舒服。所以添加了正則從源頭保證鏈接的有效性，并且在執(zhí)行下載代碼中，添加了try，except保證程序出錯(cuò)也不會掛掉。

借鑒的代碼中每一次的下載，都會對要保存的目錄進(jìn)行打開和關(guān)閉，于是將打開關(guān)閉抽離到最外層，下載的邏輯放在里面，下載圖片成功的提速果然肉眼可見~

python可以做什么

Python是一種編程語言，內(nèi)置了許多有效的工具，Python幾乎無所不能，該語言通俗易懂、容易入門、功能強(qiáng)大，在許多領(lǐng)域中都有廣泛的應(yīng)用，例如最熱門的大數(shù)據(jù)分析，人工智能，Web開發(fā)等。

感謝各位的閱讀！關(guān)于“Python怎么批量下載陰陽師網(wǎng)站壁紙”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！