溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Python實現(xiàn)決策樹并且使用Graphviz可視化的例子

發(fā)布時間:2020-08-27 09:51:18 來源:腳本之家 閱讀:259 作者:夕夕如盼 欄目:開發(fā)技術

一、什么是決策樹(decision tree)——機器學習中的一個重要的分類算法

決策樹是一個類似于數(shù)據(jù)流程圖的樹結構:其中,每個內部節(jié)點表示一個屬性上的測試,每個分支代表一個屬性輸出,而每個樹葉結點代表類或者類的分布,樹的最頂層是根結點

根據(jù)天氣情況決定出游與否的案例

Python實現(xiàn)決策樹并且使用Graphviz可視化的例子

二、決策樹算法構建

2.1決策樹的核心思路

特征選擇:從訓練數(shù)據(jù)的特征中選擇一個特征作為當前節(jié)點的分裂標準(特征選擇的標準不同產生了不同的特征決策樹算法)。

決策樹生成:根據(jù)所選特征評估標準,從上至下遞歸地生成子節(jié)點,直到數(shù)據(jù)集不可分則停止決策樹停止聲場。

剪枝:決策樹容易過擬合,需要剪枝來縮小樹的結構和規(guī)模(包括預剪枝和后剪枝)。

2.2 熵的概念:度量信息的方式

實現(xiàn)決策樹的算法包括ID3、C4.5算法等。常見的ID3核心思想是以信息增益度量屬性選擇,選擇分裂后信息增益最大的屬性進行分裂。

一條信息的信息量大小和它的不確定性有直接的關系,要搞清楚一件非常不確定的事情,或者是我們一無所知的事情,需要大量的信息====>信息量的度量就等于不確定性的 多少。也就是說變量的不確定性越大,熵就越大

信息熵的計算公司

Python實現(xiàn)決策樹并且使用Graphviz可視化的例子

S為所有事件集合,p為發(fā)生概率,c為特征總數(shù)。

信息增益(information gain)是指信息劃分前后的熵的變化,也就是說由于使用這個屬性分割樣例而導致的期望熵降低。也就是說,信息增益就是原有信息熵與屬性劃分后信息熵(需要對劃分后的信息熵取期望值)的差值,具體計算如下:

Python實現(xiàn)決策樹并且使用Graphviz可視化的例子

其中,第二項為屬性A對S劃分的期望信息。

三、IDE3決策樹的Python實現(xiàn)

以下面這個不同年齡段的人買電腦的情況為例子建模型算法

Python實現(xiàn)決策樹并且使用Graphviz可視化的例子

'''
Created on 2018年7月5日
使用python內的科學計算的庫實現(xiàn)利用決策樹解決問題 
@author: lenovo
'''
#coding:utf-8
from sklearn.feature_extraction import DictVectorizer
#數(shù)據(jù)存儲的格式 python自帶不需要安裝
import csv 
#預處理的包
from sklearn import preprocessing
from sklearn.externals.six import StringIO
from sklearn.tree import tree 
from sklearn.tree import export_graphviz
'''
文件保存格式需要是utf-8
window中的目錄形式需要是左斜杠 F:/AA_BigData/test_data/test1.csv
excel表格存儲成csv格式并且是utf-8格式的編碼
'''
'''
決策樹數(shù)據(jù)源讀取
scklearn要求的數(shù)據(jù)類型 特征值屬性必須是數(shù)值型的
需要對數(shù)據(jù)進行預處理
'''
#裝特征的值
featureList=[] 
#裝類別的詞
labelList=[]
with open("F:/AA_BigData/test_data/decision_tree.csv", "r",encoding="utf-8") as csvfile:
 decision =csv.reader(csvfile)
 headers =[]
 row =1
 for item in decision:
 if row==1:
  row=row+1
  for head in item:
  headers.append(head)
 else:
  itemDict={}
  labelList.append(item[len(item)-1])
  for num in range(1,len(item)-1):
#  print(item[num])
  itemDict[headers[num]]=item[num]
  featureList.append(itemDict) 
print(headers)
print(labelList)
print(featureList)
'''
將原始數(shù)據(jù)轉換成包含有字典的List
將建好的包含字典的list用DictVectorizer對象轉換成0-1矩陣
'''
vec =DictVectorizer()
dumyX =vec.fit_transform(featureList).toarray();
#對于類別使用同樣的方法
lb =preprocessing.LabelBinarizer()
dumyY=lb.fit_transform(labelList)
print(dumyY)
'''
 1.構建分類器——決策樹模型
 2.使用數(shù)據(jù)訓練決策樹模型
'''
clf =tree.DecisionTreeClassifier(criterion="entropy")
clf.fit(dumyX,dumyY)
print(str(clf))
'''
1.將生成的分類器轉換成dot格式的 數(shù)據(jù)
2.在命令行中dot -Tpdf iris.dot -o output.pdf將dot文件轉換成pdf圖的文件
'''
#視頻上講的不適用python3.5
with open("F:/AA_BigData/test_data/decisiontree.dot", "w") as wFile:
 export_graphviz(clf,out_file=wFile,feature_names=vec.get_feature_names())
 
 

Graphviz對決策樹的可視化

Python實現(xiàn)決策樹并且使用Graphviz可視化的例子

以上這篇Python實現(xiàn)決策樹并且使用Graphviz可視化的例子就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持億速云。

向AI問一下細節(jié)

免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據(jù),一經查實,將立刻刪除涉嫌侵權內容。

AI