kNN算法怎么用python實(shí)現(xiàn)

本篇內(nèi)容主要講解“kNN算法怎么用python實(shí)現(xiàn)”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“kNN算法怎么用python實(shí)現(xiàn)”吧!

2.1 文本挖掘和文本分類的概念

1，文本挖掘：指從大量的文本數(shù)據(jù)中抽取事先未知的，可理解的，最終可使用的知識(shí)的過程，同時(shí)運(yùn)用這些知識(shí)更好的組織信息以便將來參考。
簡言之，就是從非結(jié)構(gòu)化的文本中尋找知識(shí)的過程
2，文本挖掘的細(xì)分領(lǐng)域：搜索和信息檢索(IR)，文本聚類，文本分類，Web挖掘，信息抽取(IE)，自然語言處理（NLP),概念提取。
3，文本分類：為用戶給出的每個(gè)文檔找到所屬的正確類別
4，文本分類的應(yīng)用：文本檢索，垃圾郵件過濾，網(wǎng)頁分層目錄自動(dòng)生成元數(shù)據(jù)，題材檢測(cè)5，文本分類的方法：一是基于模式系統(tǒng)，二是分類模型

2.2 文本分類項(xiàng)目

中文語言的文本分類技術(shù)和流程:

1）預(yù)處理：去除文本的噪聲信息：HTML標(biāo)簽，文本格式轉(zhuǎn)換
2）中文分詞：使用中文分詞器為文本分詞，并去除停用詞
3）構(gòu)建詞向量空間：統(tǒng)計(jì)文本詞頻，生成文本的詞向量空間
4 ) 權(quán)重策略--TF-IDF方法：使用TF-IDF發(fā)現(xiàn)特征詞，并抽取為反映文檔主題的特征
5）分類器：使用算法訓(xùn)練分類器
6）評(píng)價(jià)分類結(jié)果：分類器的測(cè)試結(jié)果分析

2.2.1 文本預(yù)處理：

文本處理的核心任務(wù)：將非結(jié)構(gòu)化的文本轉(zhuǎn)換為結(jié)構(gòu)化的形式，即向量空間模型

文本處理之前需要對(duì)不同類型的文本進(jìn)行預(yù)處理

文本預(yù)處理的步驟：

1，選擇處理的文本的范圍：整個(gè)文檔或其中段落
2，建立分類文本語料庫：
訓(xùn)練集語料：已經(jīng)分好類的文本資源。（文件名:train_corpus_small）
測(cè)試集語料：待分類的文本語料（本項(xiàng)目的測(cè)試語料隨機(jī)選自訓(xùn)練語料）（文件名：test_corpus）
3，文本格式轉(zhuǎn)換：統(tǒng)一轉(zhuǎn)換為純文本格式。（注意問題：亂碼）
4，檢測(cè)句子邊界：標(biāo)記句子結(jié)束

2.2.2 中文分詞介紹

1，中文分詞：將一個(gè)漢字序列（句子）切分成一個(gè)單獨(dú)的詞（中文自然語言處理的核心問題）
2，中文分詞的算法：基于概率圖模型的條件隨機(jī)場(chǎng)（CRF）
3，分詞后文本的結(jié)構(gòu)化表示：詞向量空間模型，主題模型，依存句法的樹表示，RDF的圖表示
4，本項(xiàng)目的分詞系統(tǒng)：采用jieba分詞
5, jieba分詞支持的分詞模式：默認(rèn)切分，全切分，搜索引擎切分
6，jieba分詞的代碼見文件：對(duì)未分詞語料庫進(jìn)行分詞并持久化對(duì)象到一個(gè)dat文件(創(chuàng)建分詞后的語料文件：train_corpus_seg)

import sysimport osimport jiebareload(sys)sys.setdefaultencoding('utf-8')    def savefile(savpath,content):       fp = open(savepath,"wb")    fp.write(content)    fp.close()    def readfile(path):        fp = open(path,"rb")    content = fp.read()    fp.close()    return content            corpus_path = "train_corpus_small/"   seg_path = "train_corpus_seg/"  catelist = os.listdir(corpus_path) for mydir in catelist:           class_path = corpus_path+mydir+"/"      seg_dir = seg_path+mydir+"/"          if not os.path.exists(seg_dir):          os.makedirs(seg_dir)            file_list = os.listdir(class_path)          for file_path in file_list:              fullname = class_path+file_path            content = readfile(full.name).strip()           content = content.replace("\r\n","").strip()          content_seg = jieba.cut(content)                    savefile(seg_dir+file_path," ".join(content_seg))           print "中文語料分詞結(jié)束"from sklearn.datasets.base import Bunchbunch = Bunch{target_name=[],label=[],filename=[],contents=[]}wordbag_path = "train_word_bad/train_set.dat"  seg_path = "train_corpus_seg/"   catelist = os.listdir(seg_path)  bunch.target_name.extend(catelist)   for mydir in catelist:         class_path = seg_path+mydir+"/"     file_list = os.listdir(class_path)        for file_path in file_list:             fullname = class_path+file_path            bunch.label.append(mydir)              bunch.filenames.append(fullname)          bunch.contents.append(readfile(fullname).strip())          file_obj = open(wordbad_path,"wb")  pickle.dump(bunch,file_obj)   file_obj.close()print "構(gòu)建文本對(duì)象結(jié)束！！"

2.2.3 Scikit-Learn庫簡介

1，模塊分類：

1）分類和回歸算法：廣義線性模型，支持向量機(jī)，kNN,樸素貝葉斯，決策樹，特征選擇
2）聚類算法：K-means
3）維度約簡：PCA
4）模型選擇:交叉驗(yàn)證
5）數(shù)據(jù)預(yù)處理：標(biāo)準(zhǔn)化，去除均值率和方差縮放，正規(guī)化，二值化，編碼分類特征，缺失值的插補(bǔ)

2.2.4 向量空間模型：文本分類的結(jié)構(gòu)化方法

1，向量空間模型：將文本表示為一個(gè)向量，該向量的每個(gè)特征表示為文本中出現(xiàn)的詞2，停用詞：文本分類前，自動(dòng)過濾掉某些字或詞，以節(jié)省儲(chǔ)存空間。根據(jù)停用詞表去除，表可下載。代碼見文件

2.2.5 權(quán)重策略：TF-IDF方法

1，詞向量空間模型：將文本中的詞轉(zhuǎn)換為數(shù)字，整個(gè)文本集轉(zhuǎn)換為維度相等的詞向量矩陣（簡單理解，抽取出不重復(fù)的每個(gè)詞，以詞出現(xiàn)的次數(shù)表示文本）
2，歸一化：指以概率的形式表示，例如：0，1/5,0,0,1/5,2/5,0,0,也稱為：詞頻TF（僅針對(duì)該文檔自身）
3，詞條的文檔頻率IDF：針對(duì)所有文檔的詞頻

TF-IDF權(quán)重策略：計(jì)算文本的權(quán)重向量

1，TF-IDF的含義：詞頻逆文檔頻率。如果某個(gè)詞在一篇文章中出現(xiàn)的頻率高（詞頻高），并且在其他文章中很少出現(xiàn)（文檔頻率低），則認(rèn)為該詞具有很好的類別區(qū)分能力，適合用來分類。IDF其實(shí)是對(duì)TF起抵消作用。
2，詞頻TF的定義：某一個(gè)給定的詞語在該文件中出現(xiàn)的頻率（對(duì)詞數(shù)的歸一化）
3，逆文件頻率IDF：某一特定詞語的IDF，由總文件數(shù)除以包含該詞語的文件的數(shù)目，再將商取對(duì)數(shù)
4，TF-IDF的計(jì)算：TF與IDF的乘積
5，將分詞后的持久化語料庫文件dat利用TF-IDF策略轉(zhuǎn)化，并持久化的代碼見文件

import sysimport os from sklearn.datasets.base import Bunch  import cPickle as pickle  from sklearn import feature_extractionfrom sklearn.feature_extraction.text import TfidfTransformer   from sklearn.feature_extraction.text import TfidfVectorizer   reload(sys)sys.setdefaultencoding('utf-8')  def readbunchobj(path):       file_obj = open(path,"rb")    bunch = pickle.load(file_obj)      file_obj.cloase()    return bunch    def writebunchobj(path,bunchobj):       file_obj = open(path,"wb")    pickle.dump(bunchobj,file_obj)       file_obj.close()path = "train_word_bag/train_set.dat"  bunch = readbunchobj(path)   tfidfspace = Bunch(target_name=bunch.target_name,label=bunch.label,filenames=bunch.filenames,tdm=[],vocabulary=[])     vectorizer = TfidfVectorizer(stop_words=stpwrdlist,sublinear_tf=True,max_df=0.5)transformer=TfidfTransformer()   tfidfspace.tdm = vectorilzer.fit_transform(bunch.contents)  tfidfspace.vocabulary = vectorizer.vocabulary   space_path = "train_word_bag/tfidfspace.dat"   writebunchobj(space_path,tfidfspace)

2.2.6 使用樸素貝葉斯分類模塊

常用的文本分類方法：kNN最近鄰算法，樸素貝葉斯算法，支持向量機(jī)算法

本節(jié)選擇樸素貝葉斯算法進(jìn)行文本分類，測(cè)試集隨機(jī)選取自訓(xùn)練集的文檔集合，每個(gè)分類取10個(gè)文檔

訓(xùn)練步驟和訓(xùn)練集相同：分詞 (文件test_corpus)  》生成文件詞向量文件   》 生成詞向量模型。

（不同點(diǎn)：在訓(xùn)練詞向量模型時(shí)，需加載訓(xùn)練集詞袋，將測(cè)試集生成的詞向量映射到訓(xùn)練集詞袋的詞典中，生成向量空間模型。）代碼見文件。

path = "test_word_bag/test_set.dat"   bunch = readbunchobj(path)  testspace = Bunch(target_name=bunch.target_name,label+bunch.label,filenames=bunch.filenames.tdm=[],vocabulary=[])   trainbunch = readbunchobj("train_word_bag/tfidfspace.dat")  vectorizer=TfidfVectorizer(stop_words=stpwrdlst,sublinear_tf=True,max_df=0.5,vocabulary=trainbunch.vocabulary)transformer=TfidfTransformer()    testspace.tdm=vectorizer.fit_transform(bunch.contents)   testspace.vocabulary=trainbunch.vocabularyspace_path = "test_word_bag/testspace.dat"  writebunchobj(space_path,testspace)

執(zhí)行多項(xiàng)式貝葉斯算法進(jìn)行測(cè)試文本分類，并返回分類精度，代碼見文件

from sklearn.naive_bayes import MultinomialNB trainpath = "train_word_bag/tfidfspace.dat"train_set = readbunchobj(trainpath)     testpath = "test_word_bag/testspace.dat"test_set = readbunchobj(testpath)        clf = MultinomialNB(alpha = 0.001).fit(train_set.tdm,train_set.label)predicted = clf.predict(test_set.tdm)total = len(predicted);rate = 0for flabel,file_name,expct_cate in zip(test_set.label,test_set.filenames,predicted):    if flabel !=expct_cate:        rate+=1        print file_name,":實(shí)際類別：",flabel,"-->預(yù)測(cè)類別：",expct-cate        print "error rate:",float(rate)*100/float(total),"%"

2.2.7 分類結(jié)果評(píng)估

機(jī)器學(xué)習(xí)領(lǐng)域的算法評(píng)估的指標(biāo)：
（1）召回率（查全率）：檢索出的相關(guān)文檔數(shù)和文檔庫中所有的相關(guān)文檔數(shù)的比率，是衡量檢索系統(tǒng)的查全率
召回率=系統(tǒng)檢索到的相關(guān)文件/系統(tǒng)所有相關(guān)的文檔總數(shù)
（2）準(zhǔn)確率（精度）：檢索出的相關(guān)文檔數(shù)與檢索出的文檔總數(shù)的比率
準(zhǔn)確率=系統(tǒng)檢索到的相關(guān)文件/系統(tǒng)所有檢索到的文件總數(shù)
（3）Fp-Measure
Fp=(p2+1)PR/(p2P+R),P是準(zhǔn)確率，R是召回率
p=1時(shí)，就是F1-Measure
文本分類項(xiàng)目的分類評(píng)估結(jié)果評(píng)估：代碼見文件

import numpy as npfrom sklearn import metricsdef metrics_result(actual,predict):    print '精度：{0:3f}'.format(metrics.precision_score(actual,predict))    print '召回:{0:0.3f}'.format(metrics.recall_score(actual,predict))    print 'f1-score:{0:3f}'.format(metrics.f1_score(actual,predict))    metrics_result(test_set.label,predicted)

2.3 分類算法：樸素貝葉斯

本節(jié)主要討論樸素貝葉斯算法的基本原理和python實(shí)現(xiàn)

2.3.1 貝葉斯公式推導(dǎo)

樸素貝葉斯文本分類的思想：它認(rèn)為詞袋中的兩兩詞之間是相互獨(dú)立的，即一個(gè)對(duì)象的特征向量中的每個(gè)維度都是相互獨(dú)立的。
樸素貝葉斯分類的定義:
（1），設(shè)x={a1,a2,^am}為一個(gè)待分類項(xiàng)，而每個(gè)a為x的一個(gè)特征屬性
（2），有類別集合C={y1,y2,……yn}.
（3），計(jì)算P(y1|x),P(y2|x),……,P(yn|x)
（4），如果P（yk|x）=max{P1,P2,……,Pn}，則x屬于yk

-- 計(jì)算第（3）步的各個(gè)條件概率：
（1）找到一個(gè)已知分類的待分類集合，即訓(xùn)練集
（2）統(tǒng)計(jì)得到在各個(gè)類別下的各個(gè)特征屬性的條件概率估計(jì)，即：
P(a1|y1),P(a2|y2),……，P(am|y1)
P(a1|y2),P(a2|y2),……，P（am|y2）
……
（3），如果各個(gè)特征屬性是條件獨(dú)立的，根據(jù)貝葉斯定理有：
P(yi|x) = P(x|yi)*P(yi)/P(x)
分母對(duì)于所有類別為常數(shù)，故只需將分子最大化即可

故，貝葉斯分類的流程為：
第一階段 ：訓(xùn)練數(shù)據(jù)生成訓(xùn)練樣本集：TF-IDF
第二階段：對(duì)每個(gè)類別計(jì)算P(yi)
第三階段：對(duì)每個(gè)特征屬性計(jì)算所有劃分的條件概率
第四階段：對(duì)每個(gè)類別計(jì)算P(x|yi)P(yi)
第五階段：以P(x|yi)P(yi)的最大項(xiàng)作為x的所屬類別

2.3.2 樸素貝葉斯算法實(shí)現(xiàn)

樣例：使用簡單的英文語料作為數(shù)據(jù)集，代碼見文件

def loadDataSet():    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him','my'],                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]                        classVec = [0,1,0,1,0,1]             return postingList,classVec      class NBayes(object):         def __init__(self):               self.vocabulary = []          self.idf = 0                  self.tf = 0                   self.tdm = 0                  self.Pcates = {}              self.labels = []              self.doclength = 0            self.vocablen = 0             self.testset = 0              def train_set(self,trainset,classVec):          self.cate_prob(classVec)        self.doclength = len(trainset)         tempset = set()      [tempset.add(word) for doc in trainset for word in doc]             self.vocabulary = list(tempset)     self.vocablen = len(self.vocabulary)        self.calc_wordfreq(trainset)      self.build_tdm()          def cate_prob(self,classVec):      self.labels = classVec         labeltemps = set(self.labels)      for labeltemp in labeltemps:            self.labels.count(labeltemp)          self.Pcates[labeltemp] = float(self.labels.count(labeltemp))/float(len(self.labels))                        def calc_wordfred(self,trainset):           self.idf = np.zeros([1,self.vocablen])     self.tf = np.zeros([self.doclength,self.vocablen])             for indx in xrange(self.doclength):              for word in trainset[indx]:             self.tf[indx,self.vocabulary.index(word)] +=1                                            for signleword in set(trainset[indx]):              self.idf[0,self.vocabulary.index(signleword)] +=1                                      def build_tdm(self):       self.tdm = np.zeros([len(self.Pcates),self.vocablen])      sumlist = np.zeros([len(self.Pcates),1])              for indx in xrange(self.doclength):                                    self.tdm[self.labels[indx]] += self.tf[indx]                                   sumlist[self.labels[indx]] = np.sum(self.tdm[self.labels[indx]])                                                         self.tdm = self.tdm/sumlist             (3)-(5)函數(shù)都被train_set函數(shù)調(diào)用    def map2vocab(self,testdata):      self.testset = np.zeros([1,self.vocablen])      for word in testdata:            self.testset[0,self.vocabulary.index(word)] +=1               def predict(self,testset):        if np.shape(testset)[1] != self.vocablen:         print "輸出錯(cuò)誤"        exit(0)            predvalue = 0      predclass = ""          for tdm_vect,keyclass in zip(self.tdm,self.Pcates):                            temp = np.sum(testset*tdm_vect*self.Pacate[keyclass])                  if temp > predvalue:              predvalue = temp            predclass = keyclass    return predclass       def calc_tfidf(self,trainset):            self.idf = np.zeros([1,self.vocablen])       self.tf = np.zeros([self.doclength,self.vocablen])          for indx in xrange(self.doclength):           for word in trainset[indx]:                    self.tf[indx,self.vocabulary.index(word)]+=1                      self.tf[indx] = self.tf[indx]/float(len(trainset[indx]))                  for signleword in set(trainset[indx]):            self.idf[0,self.vocabulary.index(signleword)] +=1    self.idf = np.log(float(self.doclength)/self.idf)        self.tf = np.multiply(self.tf,self.idf)       import sysimport osfrom numpy import *import numpy as npfrom NBayes_lib import *dataSet,listClasses = loadDataSet()  nb = NBayes()  nb.train_set(dataSet,listClasses) nb.map2vocab(dataSet[0])   print nb.predict(nb.testset)

2.4  分類算法：KNN

KNN算法：計(jì)算向量間的距離衡量相似度來進(jìn)行文本分類

2.4.1 KNN算法的原理

1，算法思想：如果一個(gè)樣本在特征空間的k個(gè)最近鄰（最近似）的樣本中的大多數(shù)都屬于某一類別，則該樣本也屬于這個(gè)類別，k是由自己定義的外部變量。

2，KNN算法的步驟：

第一階段：確定k值（就是最近鄰的個(gè)數(shù)），一般是奇數(shù)
第二階段：確定距離度量公式，文本分類一般使用夾角余弦，得出待分類數(shù)據(jù)點(diǎn)與所有已知類別的樣本點(diǎn)，從中選擇距離最近的k個(gè)樣本
夾角余弦公式：cos =AB/|A|*|B|
第三階段:統(tǒng)計(jì)k個(gè)樣本點(diǎn)中各個(gè)類別的數(shù)量，哪個(gè)類別的數(shù)量最多，就把數(shù)據(jù)點(diǎn)分為什么類別

2.4.2 kNN算法的python實(shí)現(xiàn)

import sysimport osfrom numpy import *import numpy as *import operatorfrom Nbayes_lib import *reload(sys)sys.setdefaultencoding('utf-8')k=3def cosdist(vector1,vector2):    return dot(vector1,vector2)/(linalg.norm(vector1)*linalg.norm(vector2))     def classify(testdata,trainSet,listClasses,k):    dataSetSize=trainSet.shape[0]         distances=array(zeros(dataSetSize))          for indx in xrange(dataSetSize):           distances[indx]=cosdist(testdata,trainSet[indx])        sortedDisIndicies=argsort(-distances)        classCount={}        for i in range(k)：voteIlabel=listClasses[sortedDistIndices[i]]                        classCount[voteIlabel]=classCount.get(voteIlabel,0) +1                                                    sortedClassCount=sorted(classCount.iteritem(),key=operator.itemgetter(1),reverse=True)        return sortedClassCount[0][0]           dataSet,listClasses=loadDataSet()nb.NBayes()nb.train_set(dataSet,listClasses)  print classify(nb.tf[3],nb.tf,listClasses,k)

到此，相信大家對(duì)“kNN算法怎么用python實(shí)現(xiàn)”有了更深的了解，不妨來實(shí)際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！