您好,登錄后才能下訂單哦!
這篇文章給大家分享的是有關(guān)spark mllib如何實(shí)現(xiàn)基于卡方校驗(yàn)的特征選擇的內(nèi)容。小編覺(jué)得挺實(shí)用的,因此分享給大家做個(gè)參考,一起跟隨小編過(guò)來(lái)看看吧。
package spark.FeatureExtractionAndTransformation import org.apache.spark.mllib.feature.ChiSqSelector import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.regression.LabeledPoint import org.apache.spark.mllib.util.MLUtils import org.apache.spark.{SparkConf, SparkContext} /** * 基于卡方校驗(yàn)的特征選擇 * 卡方校驗(yàn): * 在分類資料統(tǒng)計(jì)推斷中一般用于檢驗(yàn)一個(gè)樣本是否符合預(yù)期的一個(gè)分布. * 是統(tǒng)計(jì)樣本的實(shí)際值與理論推斷值之間的偏離程度. * 卡方值越小,越趨于符合 * * Created by eric on 16-7-24. */ object FeatureSelection { val conf = new SparkConf() //創(chuàng)建環(huán)境變量 .setMaster("local") //設(shè)置本地化處理 .setAppName("TF_IDF") //設(shè)定名稱 val sc = new SparkContext(conf) def main(args: Array[String]) { val data = MLUtils.loadLibSVMFile(sc, "/home/eric/IdeaProjects/wordCount/src/main/spark/FeatureExtractionAndTransformation/fs.txt") val discretizedData = data.map { lp => //創(chuàng)建數(shù)據(jù)處理空間 LabeledPoint(lp.label, Vectors.dense(lp.features.toArray.map {x => x/2})) } val selector = new ChiSqSelector(2)//創(chuàng)建選擇2個(gè)特性的卡方校驗(yàn) val transformer = selector.fit(discretizedData)//創(chuàng)建訓(xùn)練模型 val filteredData = discretizedData.map { lp => //過(guò)濾前兩個(gè)特性 LabeledPoint(lp.label, transformer.transform(lp.features)) } filteredData.foreach(println) // (0.0,[1.0,0.5]) // (1.0,[0.0,0.0]) // (0.0,[1.5,1.5]) // (1.0,[0.5,0.0]) // (1.0,[2.0,1.0]) } }
0 1:2 2:1 3:0 4:1 1 1:0 2:0 3:1 4:0 0 1:3 2:3 3:2 4:2 1 1:1 2:0 3:4 4:3 1 1:4 2:2 3:3 4:1
感謝各位的閱讀!關(guān)于“spark mllib如何實(shí)現(xiàn)基于卡方校驗(yàn)的特征選擇”這篇文章就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,讓大家可以學(xué)到更多知識(shí),如果覺(jué)得文章不錯(cuò),可以把它分享出去讓更多的人看到吧!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。