您好,登錄后才能下訂單哦!
這篇文章主要介紹python爬蟲中如何獲取數(shù)據(jù),文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
1、爬取數(shù)據(jù),實際上就是根據(jù)一個網址向服務器發(fā)起網絡請求。
獲取服務器返回的數(shù)據(jù)。
2、解析數(shù)據(jù),將服務器返回的數(shù)據(jù)轉換成易于理解的樣式。
3、過濾資料,從大量資料中篩選出所需資料。
4、儲存資料。
實例
from urllib.request import Request from urllib.request import urlopen # 爬取百度首頁 url1 = 'http://www.baidu.com' # 用一個變量保存 request = Request(url=url1) response = urlopen(request) # print(response.read().decode('utf-8')) # 獲取的數(shù)據(jù)是源代碼要用decode進行解碼操作 html_string = response.read().decode('utf-8') with open('baidu.html', 'w', encoding='utf-8') as fp: fp.write(html_string)
以上是“python爬蟲中如何獲取數(shù)據(jù)”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注億速云行業(yè)資訊頻道!
免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據(jù),一經查實,將立刻刪除涉嫌侵權內容。