您好,登錄后才能下訂單哦!
前面一篇文章有說過,利用scrapy來爬取圖片,是為了對圖片數(shù)據(jù)進(jìn)行分類而收集數(shù)據(jù)。
本篇文章就是利用上次爬取的圖片數(shù)據(jù),根據(jù)圖片的顏色特征來做一個簡單的分類處理。
實現(xiàn)步驟如下:
1:圖片路徑添加
2:對比度處理
3:濾波處理
4:數(shù)據(jù)提取以及特征向量化
5:圖片分類處理
6:根據(jù)處理結(jié)果將圖片分類保存
代碼量中等,還可以更少,只是我為了練習(xí)類的使用,而將每個步驟都封裝成了一個獨(dú)立的類,當(dāng)然里面也有類繼承的問題,遇到的問題前面一篇文章有講解。內(nèi)容可能有點(diǎn)繁瑣,尤其是文件和路徑的使用(可以自己修改),已經(jīng)盡量優(yōu)化代碼了。
爬取的原始數(shù)據(jù)如下:
直接上代碼:
import os import numpy as np import skimage import matplotlib.pyplot as plt from skimage import io #讀取圖片 from skimage import exposure #調(diào)用調(diào)對比度的方法 rescale_intensity、equalize_hist from skimage.filters import gaussian #高斯 from skimage import img_as_float #圖片unit8類型到float from scipy.cluster.vq import kmeans,vq,whiten #聚類算法 import shutil #文件夾內(nèi)容刪除 class Path(object): def __init__(self): self.path = r"D:\PYscrapy\get_lixiaoran\picture" self.pathlist = [] #原始圖片列表 self.page = 0 def append(self): #將每張圖片的路徑加載到列表中 much = os.listdir(self.path) for i in range(len(much)): repath = os.path.join(self.path,str(self.page)+'.jpg') self.page +=1 self.pathlist.append(repath) return self.pathlist class Contrast(object): def __init__(self,pathlist): self.pathlist = pathlist self.contrastlist = [] #改變對比度之后的圖片列表 self.path3 = r"D:\PYscrapy\get_lixiaoran\picture2" self.page2 = 0 def balance(self): #將每張圖片進(jìn)行對比度的處理,兩種方式 1:均衡化 2:從某個值開始取極值 if os.path.exists(self.path3) == False: os.mkdir(self.path3) # for lis in self.pathlist: # data = skimage.io.imread(lis) # equalized = exposure.equalize_hist(data) #方法一這里使用個人人為更好的均衡化處理對比度的方法 # self.contrastlist.append(equalized) for lis in self.pathlist: data = skimage.io.imread(lis) high_contrast = exposure.rescale_intensity(data,in_range=(20,220)) #方法二 以20和220取兩端極值 self.contrastlist.append(high_contrast) for img in self.contrastlist: repath = os.path.join(self.path3,str(self.page2)+'.jpg') #保存修改后的圖片 skimage.io.imsave(repath,img) self.page2 +=1 class Filter(Contrast): def __init__(self,pathlist): super().__init__(pathlist) self.path41 = self.path3 self.path42 = r"D:\PYscrapy\get_lixiaoran\picture3" self.page3 = 0 self.filterlist = [] def filte_r(self): img = os.listdir(self.path41) #讀取文件內(nèi)容 if os.path.exists(self.path42) == False: os.mkdir(self.path42) for lis in range(len(img)): #循環(huán)做每張圖片的高斯過濾 path = os.path.join(self.path41,str(lis)+r'.jpg') img = skimage.io.imread(path) gas = gaussian(img,sigma=3) #multichannel=False 去掉顏色2D self.filterlist.append(gas) path_gas = os.path.join(self.path42,str(self.page3)+r'.jpg') skimage.io.imsave(path_gas,gas) self.page3 +=1 return self.path42 class Vectoring(object): def __init__(self,filter_path): self.path51 = filter_path self.diff = [] self.calculate = [] def vector(self): numbers = os.listdir(self.path51) #獲取文件夾內(nèi)容 os.chdir(self.path51) #切換路徑 for i in range(len(numbers)): self.diff.append([]) for j in range(4): self.diff[i].append([]) #diff[[number],[img_float],[bin_centers],[hist]] for cnt,number in enumerate(numbers): img_float = img_as_float(skimage.io.imread(number)) #將圖像ndarry nint8->float hist,bin_centers = exposure.histogram(img_float,nbins=10) #取圖像的 每個區(qū)間的像素值 分隔區(qū)間 self.diff[cnt][0] = number self.diff[cnt][1] = img_float self.diff[cnt][2] = bin_centers #把數(shù)據(jù)添加到diff中 self.diff[cnt][3] = hist for i,j in enumerate(self.diff): #使用hist和bin_centers相乘來降維,向量化 self.calculate.append([y*self.diff[i][3][x] for x,y in enumerate(self.diff[i][2])]) #這里可能需要理解一下,就是涉及的參數(shù)有點(diǎn)多 for i in range(len(self.diff)): self.diff[i].append(self.calculate[i]) #將特征向量calculate也加入到diff中 return self.diff #diff[[number],[img_float],[bin_centers],[hist],[calculate]] class Modeling(Vectoring): def __init__(self,filter_path,K): super().__init__(filter_path) self.K = K def model(self): diff = self.vector() calculate = [] for i in range(len(diff)): calculate.append(diff[i][4]) spot = whiten(calculate) #這里使用scipy的k-means方法來對圖片進(jìn)行分類 center,_ = kmeans(spot,self.K) #如果對scipy的k-means不熟悉,前面有專門的講解 cluster,_ = vq(spot,center) return diff,cluster #獲得預(yù)測值 class Predicting(object): def __init__(self,predicted_diff,predicted_cluster,K): self.diff = predicted_diff self.cluster = predicted_cluster self.path52 = r'D:\PYscrapy\get_lixiaoran\picture4' self.K = K def predicted(self): if os.path.exists(self.path52) == True: much = shutil.rmtree(self.path52) os.mkdir(self.path52) else: os.mkdir(self.path52) os.chdir(self.path52) for i in range(self.K): #創(chuàng)建K個文件夾 os.mkdir('classify{}'.format(i)) for i,j in enumerate(self.cluster): skimage.io.imsave('classify{}\\{}'.format(j,self.diff[i][0]),self.diff[i][1]) #根據(jù)圖片的分類來將它們保存至對應(yīng)的文件夾 if __name__=="__main__": np.random.seed(10) #文件路徑添加 start = Path() pathlist = start.append() #對比度類 second = Contrast(pathlist) second.balance() #get改變對比度后的圖片個數(shù) #高斯過濾 filte = Filter(pathlist) filter_path = filte.filte_r() #數(shù)據(jù)提取及向量化 vectoring = Vectoring(filter_path) #K值的自定義 K = 3 #建模 modeling = Modeling(filter_path,K) predicted_diff,predicted_cluster = modeling.model() #預(yù)測 predicted = Predicting(predicted_diff,predicted_cluster,K) predicted.predicted()
文件如下:
(K=3)分類如下(picrure4):
白色的基本在一類
黑色的基本一類
分類出來的圖片比較模糊是因為,我分類的是處理過后的圖片,并非原圖。
其實仔細(xì)看效果還是有的,就是確實不是太明顯,圖片的內(nèi)容還是有點(diǎn)復(fù)雜的。大體的框架已經(jīng)有了,只是優(yōu)化的問題,調(diào)整優(yōu)化,以及向量特征化的處理,就能得到更好的結(jié)果。或者使用一些更好的處理方式,我這里只是簡單的使用了幾種常見的圖片處理方式,所以效果一般。
這里的類有點(diǎn)多,從上到下是類的順序,所以一步步看還是不復(fù)雜的。如果有什么好的建議可以分享一下。
以上這篇python數(shù)據(jù)處理 根據(jù)顏色對圖片進(jìn)行分類的方法就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持億速云。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。