決策樹Decision Tree是什么

本篇內(nèi)容介紹了“決策樹Decision Tree是什么”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

決策樹(Decision Tree）是在已知各種情況發(fā)生概率的基礎(chǔ)上，通過構(gòu)成決策樹來求取凈現(xiàn)值的期望值大于等于零的概率，評(píng)價(jià)項(xiàng)目風(fēng)險(xiǎn)，判斷其可行性的決策分析方法，是直觀運(yùn)用概率分析的一種圖解法。由于這種決策分支畫成圖形很像一棵樹的枝干，故稱決策樹。在機(jī)器學(xué)習(xí)中，決策樹是一個(gè)預(yù)測模型，他代表的是對(duì)象屬性與對(duì)象值之間的一種映射關(guān)系，它是一種監(jiān)督學(xué)習(xí)。

一．決策樹模型

首先說明下什么是決策樹呢？決策樹是一個(gè)類似流程圖的樹結(jié)構(gòu)：每個(gè)內(nèi)部節(jié)點(diǎn)(分支節(jié)點(diǎn)/樹枝節(jié)點(diǎn))表示一個(gè)特征或?qū)傩?，每個(gè)樹葉節(jié)點(diǎn)代表一個(gè)分類。

在決策樹的生長過程中主要會(huì)存在的問題是：對(duì)于選擇分支節(jié)點(diǎn)的主觀性較強(qiáng)。解決辦法：利用信息熵或信息增益解決因?yàn)槿酥饔^判斷問題，只需要計(jì)算信息熵或信息增益再排序從而正確分類的過程。

信息增益的含義 ：劃分?jǐn)?shù)據(jù)集前后信息發(fā)生的變化。

熵：物理學(xué)中指物體能量的分布均勻情況，信息熵：對(duì)信息的不確定性的度量：公式：H(x)=-sum(plog(p))。信息熵越小，不確定性越小，確定性越大，信息的純度越高。H(D)是數(shù)據(jù)集D的熵，計(jì)算公式：

Ck是在數(shù)據(jù)集D中出現(xiàn)k類的數(shù)量，N是樣本的數(shù)量，類別的總數(shù)。H(D|A) 是特征A對(duì)與數(shù)據(jù)集D的條件熵，其意義是：在子集Di中Y的分布。計(jì)算方法是：

GainA(A的信息增益)=H_All(總體的信息熵)-H(A)(以A節(jié)點(diǎn)作為劃分節(jié)點(diǎn)的信息熵)決策樹中分支節(jié)點(diǎn)選擇：信息增益大的作為分支節(jié)點(diǎn)信息增益越大，信息熵越小，信息不確定性越小，確定性越大，純度越高。綜合之后信息增益的公式：

特征A對(duì)訓(xùn)練集D的信息增益比gR(D,A)定義為

HA(D)刻畫了特征A對(duì)訓(xùn)練集D的分辨能力，信息增益率改進(jìn)由于信息增益偏向特征取值較多的不足之處，使用信息增益率進(jìn)一步劃分決策樹。

以上決策算法：ID3算法-信息增益、C4.5算法-信息增益率。決策樹剪枝策略： 先剪枝、后剪枝，用于解決過擬合問題。

二．ID3和C4.5劃分策略

ID3和C4.5算法的劃分思想：根據(jù)信息增益或信息增益率選擇構(gòu)建決策樹的分支節(jié)點(diǎn)，依次遞歸建樹。

決策樹構(gòu)建的基本步驟：

(1)如果所有的屬性都被用于劃分，直接結(jié)束；

(2)計(jì)算所有特征的信息增益或信息增益率，選擇信息增益較大的(如a節(jié)點(diǎn))值對(duì)應(yīng)的特征進(jìn)行分類；

(3)如果使用a節(jié)點(diǎn)作為劃分節(jié)點(diǎn)沒有劃分完成，接下來使用除去a節(jié)點(diǎn)之外的其他特征節(jié)點(diǎn)中信息增益較大的進(jìn)一步進(jìn)行建立決策樹。（遞歸建立決策樹）

決策樹停止停止生長的條件：

• 如果屬性都用于劃分，直接結(jié)束；如果還有沒有被劃分的節(jié)點(diǎn)，使用多數(shù)表決；

• 如果所有樣本都已經(jīng)分類，直接結(jié)束；

• 定義最大不純度進(jìn)行度量；

• 定義葉子節(jié)點(diǎn)的數(shù)目；

• 定義分支節(jié)點(diǎn)包含的樣本個(gè)數(shù)。

三．決策樹剪枝

決策樹是充分考慮了所有的數(shù)據(jù)點(diǎn)而生成的復(fù)雜樹，有可能出現(xiàn)過擬合的情況，決策樹越復(fù)雜，過擬合的程度會(huì)越高。決策樹的構(gòu)建過程是一個(gè)遞歸的過層，所以必須確定停止條件，否則過程將不會(huì)停止，樹會(huì)不停生長。

先剪枝：提前結(jié)束決策樹的增長。預(yù)剪枝降低了過擬合的風(fēng)險(xiǎn),減少了決策樹的訓(xùn)練時(shí)間開銷和測試時(shí)間開銷.帶來了欠擬合的風(fēng)險(xiǎn)。

后剪枝：是指在決策樹生長完成之后再進(jìn)行剪枝的過程。—— 最小錯(cuò)誤剪枝技術(shù)(MEP)，悲觀錯(cuò)誤剪枝(MEP)和代價(jià)復(fù)雜度剪枝(CCP)泛化性能往往優(yōu)于預(yù)剪枝決策樹,訓(xùn)練時(shí)間開銷比未剪枝的決策樹和預(yù)剪枝的決策樹都要大得多。

總結(jié)：

使用決策樹進(jìn)行分類的優(yōu)點(diǎn)是非常直觀，便于理解，并且執(zhí)行效率高，執(zhí)行只需要一次構(gòu)建，可反復(fù)使用。但是對(duì)小規(guī)模數(shù)據(jù)集才更有效，而且在處理連續(xù)變量時(shí)效果不好，較難預(yù)測連續(xù)字段，在類別較多時(shí)，錯(cuò)誤增加的比較快。

“決策樹Decision Tree是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！