溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

python爬蟲中如何獲取數(shù)據(jù)

發(fā)布時間:2021-09-07 13:46:46 來源:億速云 閱讀:202 作者:小新 欄目:編程語言

這篇文章主要介紹python爬蟲中如何獲取數(shù)據(jù),文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!

1、爬取數(shù)據(jù),實際上就是根據(jù)一個網址向服務器發(fā)起網絡請求。

獲取服務器返回的數(shù)據(jù)。

2、解析數(shù)據(jù),將服務器返回的數(shù)據(jù)轉換成易于理解的樣式。

3、過濾資料,從大量資料中篩選出所需資料。

4、儲存資料。

實例

from urllib.request import Request
from urllib.request import urlopen
 
# 爬取百度首頁
url1 = 'http://www.baidu.com'
# 用一個變量保存
request = Request(url=url1)
response = urlopen(request)
# print(response.read().decode('utf-8'))
# 獲取的數(shù)據(jù)是源代碼要用decode進行解碼操作
html_string = response.read().decode('utf-8')
with open('baidu.html', 'w', encoding='utf-8') as fp:
    fp.write(html_string)

以上是“python爬蟲中如何獲取數(shù)據(jù)”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注億速云行業(yè)資訊頻道!

向AI問一下細節(jié)

免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據(jù),一經查實,將立刻刪除涉嫌侵權內容。

AI