Python怎么實現(xiàn)分類保存所有文章圖片

本篇內(nèi)容介紹了“Python怎么實現(xiàn)分類保存所有文章圖片”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

項目目標(biāo)

創(chuàng)建一個文件夾， 分類保存所有文章圖片。下載成功，結(jié)果顯示控制臺。

項目分析

1、如何找到真正訪問的地址，多網(wǎng)頁請求?

滑動鼠標(biāo)，觀察網(wǎng)站，右鍵F12 。鼠標(biāo)滾輪滑動加載新內(nèi)容。

點開隨機網(wǎng)頁 , 點開Request URL ，觀察網(wǎng)址的規(guī)律。

https://bh.sb/page/1/

https://bh.sb/page/2/

https://bh.sb/page/3/

https://bh.sb/page/4/

觀察到，每增加一頁page/{}/自增加1，用{}代替變換的變量，再用for循環(huán)遍歷這網(wǎng)址，實現(xiàn)多個網(wǎng)址請求。

2. 反爬處理

1）獲取正常的 http請求頭，并在requests請求時，設(shè)置這些常規(guī)的http請求頭。

2）使用 fake_useragent ，產(chǎn)生隨機的UserAgent進(jìn)行訪問。

涉及的庫和網(wǎng)站

1、網(wǎng)址如下：

https://www.doutula.com/photo/list/?page={}

2、涉及的庫：requests、lxml、fake_useragent、time、os

3、軟件：PyCharm

項目實施

1、我們定義一個class類繼承object，然后定義init方法繼承self，再定義一個主函數(shù)main繼承self。導(dǎo)入需要的庫和網(wǎng)址，創(chuàng)建保存文件夾。

import requests, os
from lxml import etree
from fake_useragent import UserAgent
import time
class bnotiank(object):
    def __init__(self):
        os.mkdir("圖片")  # 在創(chuàng)建文件夾 記住只有第一次運行加上，如果多次運行請注釋掉本行。
    def main(self):
          pass
if __name__ == '__main__':
    Siper=bnotiank()
    Siper.main()

2、隨機UserAgent ，構(gòu)造請求頭，防止反爬。

    ua = UserAgent(verify_ssl=False)
    for i in range(1, 50):
        self.headers = {
            'User-Agent': ua.random
        }

3、發(fā)送請求 ，獲取響應(yīng)，頁面回調(diào)，方便下次請求。

'''發(fā)送請求  獲取響應(yīng)'''
def get_page(self, url):
      res = requests.get(url=url, headers=self.headers)
      html = res.content.decode("utf-8")
      return html

4、定義parse_page函數(shù)，獲取二級頁面地址，for遍歷獲取需要的字段。

   def parse_page(self, html):
         parse_html = etree.HTML(html)
         image_src_list = parse_html.xpath('//p/a/@href')
         # print(image_src_list)

5、對二級頁面發(fā)生請求，xpath解析數(shù)據(jù)，獲取大圖片鏈接。

    reo = parse_html1.xpath('//div//div[@class="content"]') #父結(jié)點
    for j in reo:
        d = j.xpath('.//article[@class="article-content"]//p/img/@src')[0]
        text = parse_html1.xpath('//h2[@class ="article-title"] //a/text()')[0].strip()

6、請求圖片地址，寫入文檔。

    html2 = requests.get(url=d, headers=self.headers).content
    dirname = "./d/">

7、調(diào)用方法，實現(xiàn)功能。

    url = self.url.format(page)
    print(url)
    html = self.get_page(url)
    self.parse_page(html)

8、設(shè)置延時。（防止ip被封）。

  time.sleep(1) """時間延時"""

效果展示

1、點擊綠色小三角運行輸入起始頁，終止頁。

2、將下載成功信息顯示在控制臺。

3、text 作為圖片命名，展示效果如下所示。

“Python怎么實現(xiàn)分類保存所有文章圖片”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！