溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

python數(shù)據(jù)爬下來(lái)保存在什么地方

發(fā)布時(shí)間:2020-09-23 17:31:07 來(lái)源:億速云 閱讀:199 作者:Leah 欄目:編程語(yǔ)言

python數(shù)據(jù)爬下來(lái)保存在什么地方?相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策,為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法,通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

python數(shù)據(jù)爬下來(lái)保存在本地,一般是文件或數(shù)據(jù)庫(kù)中,但是文件形式相比要更加簡(jiǎn)單,如果只是自己寫爬蟲玩,可以用文件形式來(lái)保存數(shù)據(jù)。

#coding=utf-8
import urllib.request
import re
import os
  
'''
Urllib 模塊提供了讀取web頁(yè)面數(shù)據(jù)的接口,我們可以像讀取本地文件一樣讀取www和ftp上的數(shù)據(jù)
urlopen 方法用來(lái)打開(kāi)一個(gè)url
read方法 用于讀取Url上的數(shù)據(jù)
'''
  
def getHtml(url):
    page = urllib.request.urlopen(url);
    html = page.read();
    return html;
  
def getImg(html):
    imglist = re.findall('img src="(http.*?)"',html
    return imglist
  
html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8");
imagesUrl = getImg(html);
  
if os.path.exists("D:/imags") == False:
    os.mkdir("D:/imags");
     
count = 0;
for url in imagesUrl:
    print(url)
    if(url.find('.') != -1):
        name = url[url.find('.',len(url) - 5):];
        bytes = urllib.request.urlopen(url);
        f = open("D:/imags/"+str(count)+name, 'wb');
        f.write(bytes.read());
        f.flush();
        f.close();
        count+=1

經(jīng)測(cè)試,基本功能還是可以實(shí)現(xiàn)的?;ǖ妮^多的時(shí)間就是正則匹配哪里,因?yàn)樽约簩?duì)正則表達(dá)式也不是非常熟悉。所以還是花了點(diǎn)時(shí)間。

看完上述內(nèi)容,你們掌握python數(shù)據(jù)爬下來(lái)保存在什么地方的方法了嗎?如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容,歡迎關(guān)注億速云行業(yè)資訊頻道,感謝各位的閱讀!

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI