您好,登錄后才能下訂單哦!
這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)spark生成表格套用公式是什么,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
Index | A | B | C | D |
1 | 10 | 2 | 8 | 8 |
2 | 9 | |||
3 | 8 |
簡化業(yè)務(wù)描述后,需求為:
有表格如上,A列及第一行可以直接給出,其余空白字段要求按公式算出。
公式:
1) B[x] = A[x]-1
2) C[x] = A[x] - B[x]
3) D[x] = (C[x]+D[x-1])/2 //(上一行同列+本行前一列)/2
計(jì)算后的表格值應(yīng)為:
Index | A | B | C | D |
1 | 10 | 2 | 8 | 8 |
2 | 9 | 7 | 2 | 5 |
3 | 8 | 4 | 4 | 4.5 |
代碼
import org.apache.spark.rdd.RDD import org.apache.spark.sql.types._ import org.apache.spark.sql.{Row, SparkSession} val schema = StructType( List( StructField("ID", DoubleType, true), StructField( "A", DoubleType, true), StructField( "B", DoubleType, true), StructField( "C", DoubleType, true), StructField( "D", DoubleType, true) ) ) val data1: RDD[Row] = spark.sparkContext.parallelize( Seq( Row(1.0,10.0,2.0,8.0,8.0) ) ) val df1 = spark.createDataFrame(data1, schema) df1.createOrReplaceTempView("df1") val data2: RDD[Row] = spark.sparkContext.parallelize( Seq( Row(1.0,9.0,null,null,null) ) ) val df2 = spark.createDataFrame(data2, schema) df2.createOrReplaceTempView("df2") def func_1(x: Int) = { x - 1 } def func_2(x:Int,y:Int):Int = { x - func_1(y) } def func_3(x:Int,y:Int,z:Int):Int = { (x+func_2(y,z))/2 } spark.udf.register("func_1", func_1 _) spark.udf.register("func_2", func_2 _) spark.udf.register("func_3", func_3 _) spark.sql( """ |select | df2.ID, | df2.A, | func_1(df1.D) as B, | func_2(df2.A,df1.D) as C, | func_3(df1.D,df2.A,df1.D) as D |from df2 inner join df1 on df1.ID = df2.ID | """.stripMargin).show()
上述就是小編為大家分享的spark生成表格套用公式是什么了,如果剛好有類似的疑惑,不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。