您好,登錄后才能下訂單哦!
現(xiàn)在有一批完整的關(guān)于介紹城市美食、景點(diǎn)等的html頁(yè)面,需要將里面body的內(nèi)容提取出來(lái)
方法:利用python插件beautifulSoup獲取htmlbody標(biāo)簽的內(nèi)容,并批量處理。
# -*- coding:utf8 -*- from bs4 import BeautifulSoup import os import os.path import sys reload(sys) sys.setdefaultencoding('utf8') def printPath(level,path): global allFileNum #所有文件夾,第一個(gè)字段是此目錄的級(jí)別 dirList = [] #所有文件 fileList = [] #返回一個(gè)列表,其中包含在目錄條目的名稱 files = os.listdir(path) #先添加目錄級(jí)別 dirList.append(str(level)) for f in files: if(os.path.isdir(path+'/'+f)): #排除隱藏文件夾,因?yàn)殡[藏文件夾過(guò)多 if(f[0] == '.'): pass else: #添加隱藏文件夾 dirList.append(f) if(os.path.isfile(path+'/'+f)): #添加文件 fileList.append(f) return (dirList,fileList) #將文件html文件抓取并寫入指定txt文件 def getAndInsert(rootdir,savepath,path): global file_num f_list = os.listdir(rootdir+'/'+path) for i in f_list: temp = os.path.splitext(i)[0] for num in range(1,11): if(i==str(num)+'.html'): #print rootdir+'/'+path+'/'+i objFile = open(rootdir+'/'+path+'/'+i) soup = BeautifulSoup(objFile) arr = [] for child in soup.body: arr.append(child) if os.path.exists(savepath+'/'+path): pass else: os.makedirs(savepath+'/'+path) f = open(savepath+'/'+path+'/'+temp+'.txt','w') for k,v in enumerate(arr): if k!=1: f.write(str(v)) f.close() print path+'/'+i+' is running' file_num = file_num + 1 rootdir = '../zips2' dirList,fileList = printPath(1,rootdir) savepath = "../testC" file_num = 0 for fn in dirList: if(fn == '1'): pass else: getAndInsert(rootdir,savepath,fn) print fn+' is ending' print '一共完成'+str(file_num)+'個(gè)城市的提取'
以上這篇python批量獲取html內(nèi)body內(nèi)容的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持億速云。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。