spark mllib 預(yù)測之LinearRegression的示例分析

這篇文章主要介紹spark mllib 預(yù)測之LinearRegression的示例分析，文中介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們一定要看完！

商品價格與消費(fèi)者輸入之間的關(guān)系

商品需求(y, 噸),價格(x1, 元),消費(fèi)者收入(x2, 元)

建立需求函數(shù): y = ax1+bx2

運(yùn)行代碼如下

package spark.regressionAnalysis

/**
  *　線性回歸, 建立商品價格與消費(fèi)者輸入之間的關(guān)系,
  * 預(yù)測價格
  */

import org.apache.log4j.{Level, Logger}
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.{LabeledPoint, LinearRegressionWithSGD}
import org.apache.spark.{SparkConf, SparkContext}

object LinearRegression {
  val conf = new SparkConf()     //創(chuàng)建環(huán)境變量
    .setMaster("local")        //設(shè)置本地化處理
    .setAppName("LinearRegression")//設(shè)定名稱
  val sc = new SparkContext(conf)  //創(chuàng)建環(huán)境變量實(shí)例

  def main(args: Array[String]) {
    val data = sc.textFile("./src/main/spark/regressionAnalysis/lr.txt")//獲取數(shù)據(jù)集路徑
    val parsedData = data.map { line =>	 //開始對數(shù)據(jù)集處理
        val parts = line.split('|') //根據(jù)逗號進(jìn)行分區(qū)
        LabeledPoint(parts(0).toDouble, Vectors.dense(parts(1).split(',').map(_.toDouble)))
      }.cache() //轉(zhuǎn)化數(shù)據(jù)格式

    //LabeledPoint,　numIterations, stepSize
    val model = LinearRegressionWithSGD.train(parsedData, 2, 0.1) //建立模型

    val result = model.predict(Vectors.dense(1, 3))//通過模型預(yù)測模型
    println(model.weights)
    println(model.weights.size)
    println(result)	//打印預(yù)測結(jié)果
  }
}

lr.txt

5|1,1
8|1,2
7|2,1
13|2,3
18|3,4

結(jié)果如圖

以上是“spark mllib 預(yù)測之LinearRegression的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道！