您好,登錄后才能下訂單哦!
本篇文章給大家分享的是有關(guān)Python然后實現(xiàn)多線程爬表情包,小編覺得挺實用的,因此分享給大家學習,希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。
系統(tǒng)分析目標網(wǎng)頁
html標簽數(shù)據(jù)解析方法
海量圖片數(shù)據(jù)一鍵保存
python 3.8
pycharm
requests >>> pip install requests
parsel >>> pip install parsel
time 時間模塊 記錄運行時間
表情包 >>> 圖片url地址 以及 圖片名字
對于開發(fā)者工具的使用 >>>
1.發(fā)送請求
確定一下發(fā)送請求 url地址
請求方式是什么 get請求方式 post請求方式
請求頭參數(shù) : 防盜鏈 cookie …
2.獲取數(shù)據(jù)
獲取服務器返回的數(shù)據(jù)內(nèi)容
response.text 獲取文本數(shù)據(jù)
response.json() 獲取json字典數(shù)據(jù)
response.content 獲取二進制數(shù)據(jù) 保存圖片/音頻/視頻/特定格式文件內(nèi)容 都是獲取二進制數(shù)據(jù)內(nèi)容
3.解析數(shù)據(jù)
提取我們想要的數(shù)據(jù)內(nèi)容
I. 可以直接解析處理
II. json字典數(shù)據(jù) 鍵值對取值
III. re正則表達式
IV. css選擇器
V. xpath
4.保存數(shù)據(jù)
文本
csv
數(shù)據(jù)庫
本地文件夾
import requests # 數(shù)據(jù)請求模塊 第三方模塊 pip install requests import parsel # 數(shù)據(jù)解析模塊 第三方模塊 pip install parsel import re # 正則表達式模塊 import time # 時間模塊 import concurrent.futures
1. 發(fā)送請求
start_time = time.time() for page in range(1, 11): url = f'https://fabiaoqing.com/biaoqing/lists/page/{page}html' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36' } response = requests.get(url=url, headers=headers) # <Response [200]> response 對象 200狀態(tài)碼 表示請求成功
2. 獲取數(shù)據(jù), 獲取文本數(shù)據(jù) / 網(wǎng)頁源代碼
# 在開發(fā)者工具上面 元素面板 看到有相應標簽數(shù)據(jù), 但是我發(fā)送請求之后 沒有這樣的數(shù)據(jù)返回 # 我們要提取數(shù)據(jù), 要根據(jù)服務器返回數(shù)據(jù)內(nèi)容 # xpath 解析方法 parsel 解析模塊 parsel這個模塊里面就可以調(diào)用xpath解析方法 # print(response.text)
3. 解析數(shù)據(jù)
# 解析速度 bs4 解析速度會慢一些 如果你想要對于字符串數(shù)據(jù)內(nèi)容 直接取值 只能正則表達式 selector = parsel.Selector(response.text) # 把獲取下來html字符串數(shù)據(jù)內(nèi)容 轉(zhuǎn)成 selector 對象 title_list = selector.css('.ui.image.lazy::attr(title)').getall() img_list = selector.css('.ui.image.lazy::attr(data-original)').getall() # 把獲取下來的這兩個列表 提取里面元素 一一提取出來 # 提取列表元素 for循環(huán) 遍歷 for title, img_url in zip(title_list, img_list):
4. 保存數(shù)據(jù)
# split() 字符串分割的方法 根據(jù)列表索引位置取值 # img_name_1 = img_url[-3:] # 通過字符串數(shù)據(jù) 進行切片 # 從左往右 索引位置 是從 0 開始 從右往左 是 -1開始 # print(title, img_url) title = re.sub(r'[\/:*?"<>|\n]', '_', title) # 名字太長 報錯 img_name = img_url.split('.')[-1] # 通過split() 字符串分割的方法 根據(jù)列表索引位置取值 img_content = requests.get(url=img_url).content # 獲取圖片的二進制數(shù)據(jù)內(nèi)容 with open('img\\' + title + '.' + img_name, mode='wb') as f: f.write(img_content) print(title)
多線程爬取10頁數(shù)據(jù)
def get_response(html_url): """發(fā)送請求""" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36' } response = requests.get(url=html_url, headers=headers) return response
def get_img_info(html_url): """獲取圖片url地址 以及 圖片名字""" response = get_response(html_url) selector = parsel.Selector(response.text) # 把獲取下來html字符串數(shù)據(jù)內(nèi)容 轉(zhuǎn)成 selector 對象 title_list = selector.css('.ui.image.lazy::attr(title)').getall() img_list = selector.css('.ui.image.lazy::attr(data-original)').getall() zip_data = zip(title_list, img_list) return zip_data
def save(title, img_url): """保存數(shù)據(jù)""" title = re.sub(r'[\/:*?"<>|\n]', '_', title) # 名字太長 報錯 img_name = img_url.split('.')[-1] # 通過split() 字符串分割的方法 根據(jù)列表索引位置取值 img_content = requests.get(url=img_url).content # 獲取圖片的二進制數(shù)據(jù)內(nèi)容 with open('img\\' + title + '.' + img_name, mode='wb') as f: f.write(img_content) print(title)
def main(html_url): zip_data = get_img_info(html_url) for title, img_url in zip_data: save(title, img_url)
if __name__ == '__main__': start_time = time.time() exe = concurrent.futures.ThreadPoolExecutor(max_workers=10) for page in range(1, 11): # 1. 發(fā)送請求 url = f'https://fabiaoqing.com/biaoqing/lists/page/{page}html' exe.submit(main, url) exe.shutdown() end_time = time.time() use_time = int(end_time - start_time) print('程序耗時: ', use_time)
以上就是Python然后實現(xiàn)多線程爬表情包,小編相信有部分知識點可能是我們?nèi)粘9ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學到更多知識。更多詳情敬請關(guān)注億速云行業(yè)資訊頻道。
免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。