您好,登錄后才能下訂單哦!
python數(shù)據(jù)爬下來(lái)保存在什么地方?相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策,為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法,通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。
python數(shù)據(jù)爬下來(lái)保存在本地,一般是文件或數(shù)據(jù)庫(kù)中,但是文件形式相比要更加簡(jiǎn)單,如果只是自己寫爬蟲玩,可以用文件形式來(lái)保存數(shù)據(jù)。
#coding=utf-8 import urllib.request import re import os ''' Urllib 模塊提供了讀取web頁(yè)面數(shù)據(jù)的接口,我們可以像讀取本地文件一樣讀取www和ftp上的數(shù)據(jù) urlopen 方法用來(lái)打開(kāi)一個(gè)url read方法 用于讀取Url上的數(shù)據(jù) ''' def getHtml(url): page = urllib.request.urlopen(url); html = page.read(); return html; def getImg(html): imglist = re.findall('img src="(http.*?)"',html return imglist html = getHtml("https://www.zhihu.com/question/34378366").decode("utf-8"); imagesUrl = getImg(html); if os.path.exists("D:/imags") == False: os.mkdir("D:/imags"); count = 0; for url in imagesUrl: print(url) if(url.find('.') != -1): name = url[url.find('.',len(url) - 5):]; bytes = urllib.request.urlopen(url); f = open("D:/imags/"+str(count)+name, 'wb'); f.write(bytes.read()); f.flush(); f.close(); count+=1
經(jīng)測(cè)試,基本功能還是可以實(shí)現(xiàn)的?;ǖ妮^多的時(shí)間就是正則匹配哪里,因?yàn)樽约簩?duì)正則表達(dá)式也不是非常熟悉。所以還是花了點(diǎn)時(shí)間。
看完上述內(nèi)容,你們掌握python數(shù)據(jù)爬下來(lái)保存在什么地方的方法了嗎?如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容,歡迎關(guān)注億速云行業(yè)資訊頻道,感謝各位的閱讀!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。