梯度提升決策樹GBDT的方法是什么

這篇文章主要介紹“梯度提升決策樹GBDT的方法是什么”，在日常操作中，相信很多人在梯度提升決策樹GBDT的方法是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”梯度提升決策樹GBDT的方法是什么”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

G-B-D-T梯度提升決策樹，顧名思義，是一個與梯度有關(guān)、對決策樹進(jìn)行了提升的機(jī)器學(xué)習(xí)模型。我們不妨從后往前依次聊聊GBD這幾個定語，從而理解這個模型的精髓。

DT（Decision Tree）決策樹。 T自不必多說，作為一種常見的數(shù)據(jù)結(jié)構(gòu)出現(xiàn)在各種算法當(dāng)中。DT決策樹，有分類樹與回歸樹兩種，之前文章中講到了分類樹，可參見 與 。回歸樹原理機(jī)制與分類樹相似，區(qū)別在于分類樹只有在葉子結(jié)點(diǎn)返回唯一分類，而回歸樹的每個節(jié)點(diǎn)都能返回預(yù)測值，通常為當(dāng)前節(jié)點(diǎn)下所有樣本的均值。

B（Boosting）提升。即在原來模型的基礎(chǔ)之上做進(jìn)一步提升，提升決策樹BDT的基本思想是采用多棵決策樹串行建模。具體過程為，對于第一棵樹之后的每一棵決策樹，都基于前一棵決策樹的輸出進(jìn)行二次建模，整個串行建模過程相當(dāng)于對預(yù)測結(jié)果朝目標(biāo)值進(jìn)行修正。

G（Gradient）梯度。梯度的大小反映了當(dāng)前預(yù)測值與目標(biāo)值之間的距離。因此，上面B所述的串行決策樹模型，除開第一棵決策樹使用原始預(yù)測指標(biāo)建樹，之后的每一棵決策樹都用前一棵決策樹的預(yù)測值與目標(biāo)值計(jì)算出來的負(fù)梯度（可以理解為殘差或者增量）來建樹。這相當(dāng)于給分錯的樣本加權(quán)多次分類，使樣本最終的殘差趨近于0。除開第一棵樹的其他樹，由于都是對目標(biāo)的殘差或增量進(jìn)行建模預(yù)測，因此GBDT模型只需把過程中每一棵決策樹的輸出結(jié)果累加，便可得到最終的預(yù)測輸出。

這里借用網(wǎng)上流傳較廣的一個預(yù)測年齡的例子來描述GBDT的過程。一共4個樣本：

A（消費(fèi)較高、經(jīng)常被學(xué)弟問問題）27歲

B（消費(fèi)較高、經(jīng)常問學(xué)長問題）23歲

C（消費(fèi)較低、經(jīng)常被學(xué)弟問問題）17歲

D（消費(fèi)較低、經(jīng)常問學(xué)長問題）13歲

串行決策樹構(gòu)建如下圖所示。可知模型擬合情況，A的年齡為25 + 2 = 27歲，B的年齡為25 - 2 = 23歲，C為15 +２ = 17歲，D為15 - 2 = 13歲。

綜上，一句話概括GBDT的核心思想就是：串行訓(xùn)練n(n > 2)棵決策樹，其中第i(1 < i ≤ n)棵樹學(xué)習(xí)第i - 1棵樹的負(fù)梯度（可理解為殘差或增量），n棵樹的輸出結(jié)果累加作為最終輸出結(jié)果。

GBDT的優(yōu)點(diǎn)和局限性

優(yōu)點(diǎn):
1.在預(yù)測階段的計(jì)算快速，樹與樹之間可以并行化計(jì)算
2.在分布稠密的數(shù)據(jù)集上，泛化能力和表達(dá)能力都很好。
3.采用決策樹作為弱分類器使得GBDT模型具有較好的解釋性和魯棒性，能夠自動發(fā)現(xiàn)特征間的高階關(guān)系，并且也不需要對數(shù)據(jù)進(jìn)行特殊的預(yù)處理。
局限性:
1.GBDT在高維稀疏的數(shù)據(jù)集上，表現(xiàn)不如SVM或者神經(jīng)網(wǎng)絡(luò)
2.GBDT在處理文本分類特征問題上，相對其他模型的優(yōu)勢不如在處理數(shù)值特征時明顯。
3.訓(xùn)練過程需要串行訓(xùn)練，只能在決策樹內(nèi)部采用一些局部并行的手段提高訓(xùn)練速度。

到此，關(guān)于“梯度提升決策樹GBDT的方法是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！