R語(yǔ)言分類(lèi)算法的集成學(xué)習(xí)指的是什么

R語(yǔ)言分類(lèi)算法的集成學(xué)習(xí)指的是什么，相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

1.集成學(xué)習(xí)（Bootstrap Aggregating）原理分析:
Bagging是Bootstrap Aggregating的縮寫(xiě),簡(jiǎn)單來(lái)說(shuō),就是通過(guò)使用boostrap抽樣得到若干不同的訓(xùn)練集,以這些訓(xùn)練集分別建立模型,即得到一系列的基分類(lèi)器,這些分類(lèi)器由于來(lái)自不同的訓(xùn)練樣本,他們對(duì)同一測(cè)試集的預(yù)測(cè)效果不一樣.因此,Bagging算法隨后對(duì)基分類(lèi)器的一系列預(yù)測(cè)結(jié)果進(jìn)行投票(分類(lèi)問(wèn)題)和平均(回歸問(wèn)題),從而得到每一個(gè)測(cè)試集樣本的最終預(yù)測(cè)結(jié)果,這一集成后的結(jié)果往往是準(zhǔn)確而穩(wěn)定的.
比如現(xiàn)在基分類(lèi)器1至10,他們對(duì)某樣本的預(yù)測(cè)結(jié)果分別為類(lèi)別1/2/1/1/1/1/2/1/1/2,則Bagging給出的最終結(jié)果為”該樣本屬于類(lèi)別1”,因?yàn)榇蠖鄶?shù)基分類(lèi)器將票投給了1.
AdaBoost(Adaptive Boosting)相對(duì)于Bagging算法更為巧妙,且一般來(lái)說(shuō)是效果更優(yōu)的集成分類(lèi)算法,尤其在數(shù)據(jù)集分布不均衡的情況下,其優(yōu)勢(shì)更為顯著.該算法的提出先于Bagging,但在復(fù)雜度和效果上高于Bagging.
AdaBoost同樣是在若干基分類(lèi)器基礎(chǔ)上的一種集成算法,但不同于Bagging對(duì)一系列預(yù)測(cè)結(jié)果的簡(jiǎn)單綜合,該算法在依次構(gòu)建基分類(lèi)器的過(guò)程中,會(huì)根據(jù)上一個(gè)基分類(lèi)器對(duì)各訓(xùn)練集樣本的預(yù)測(cè)結(jié)果,自行調(diào)整在本次基分類(lèi)器構(gòu)造時(shí),個(gè)樣本被抽中的概率.具體來(lái)說(shuō),如果在上一基分類(lèi)器的預(yù)測(cè)中,樣本i被錯(cuò)誤分類(lèi)了,那么,在這一次基分類(lèi)器的訓(xùn)練樣本抽取過(guò)程中,樣本i就會(huì)被賦予較高的權(quán)重,以使其能夠以較大的可能被抽中,從而提高其被正確分類(lèi)的概率.
這樣一個(gè)實(shí)時(shí)調(diào)節(jié)權(quán)重的過(guò)程正是AdaBoost算法的優(yōu)勢(shì)所在,它通過(guò)將若干具有互補(bǔ)性質(zhì)的基分類(lèi)器集合于一體,顯著提高了集成分類(lèi)器的穩(wěn)定性和準(zhǔn)確性.另外,Bagging和AdaBoost的基分類(lèi)器選取都是任意的,但絕大多數(shù)我們使用決策樹(shù),因?yàn)闆Q策樹(shù)可以同時(shí)處理數(shù)值/類(lèi)別/次序等各類(lèi)型變量,且變量的選擇也較容易.

2.在R語(yǔ)言中的應(yīng)用
集成學(xué)習(xí)算法主要運(yùn)用到了adabag包中的bossting函數(shù)。
bossting(formula,data,boos=TRUE,mfinal=100,coeflearn=’Breiman’,control)
3.以iris數(shù)據(jù)集為例進(jìn)行分析
1)應(yīng)用模型并查看模型的相應(yīng)參數(shù)
fit_bag=bagging(Species~.,data_train,mfinal=5,control=rpart.control(maxdepth=3))
fit_bag[1:length(bag)]


2)預(yù)測(cè)分析
pre_bag=predict(fit_bag,data_test)

看完上述內(nèi)容，你們掌握 R語(yǔ)言分類(lèi)算法的集成學(xué)習(xí)指的是什么的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！