Spark算子的轉(zhuǎn)換操作介紹

這篇文章主要介紹“Spark算子的轉(zhuǎn)換操作介紹”，在日常操作中，相信很多人在Spark算子的轉(zhuǎn)換操作介紹問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Spark算子的轉(zhuǎn)換操作介紹”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

##概述
每一次轉(zhuǎn)換操作都會(huì)產(chǎn)生不同的RDD,供給下一個(gè)操作使用。
####算子
解決問(wèn)題其實(shí)是將問(wèn)題的初始化狀態(tài)，通過(guò)一系列的操作Operate對(duì)問(wèn)題的狀態(tài)進(jìn)行轉(zhuǎn)換，然后達(dá)到完成解決的狀態(tài)
####惰性機(jī)制
RDD的轉(zhuǎn)換過(guò)程是惰性求值的，也就是，整個(gè)轉(zhuǎn)換過(guò)程只記錄軌跡，并不會(huì)發(fā)生真正的計(jì)算，只有遇到了行動(dòng)操作時(shí)，才會(huì)觸發(fā)真正的計(jì)算。
##filter(func)
過(guò)濾出滿足函數(shù)func的元素，并返回存入一個(gè)新的數(shù)據(jù)集

val conf = new SparkConf().setAppName("spark").setMaster("local")    val sc = new SparkContext(conf)    val rdd = sc.parallelize(List(1,2,3,4,5,6))    val result = rdd.filter(_%2==0)    println(result.collect().mkString(","))

##map(func)
將每個(gè)元素傳遞到函數(shù)func中進(jìn)行操作，并將結(jié)果返回為一個(gè)新的數(shù)據(jù)集。
collect()以數(shù)組的形式返回rdd的結(jié)果，但列表中每個(gè)數(shù)乘以2

val conf = new SparkConf().setAppName("spark").setMaster("local")    val sc = new SparkContext(conf)    val rdd = sc.parallelize(List(1,2,3,4,5,6))    val mapResult = rdd.map(_*2)    println(mapResult.collect().toBuffer)

##flatMap(func)
與map相似，但是每個(gè)輸入元素都可以映射到0或多個(gè)輸出結(jié)果,所以func應(yīng)該返回一個(gè)序列，而不是單一元素

val conf = new SparkConf().setAppName("RDD").setMaster("local[*]")    val sc = new SparkContext(conf)    val arrayRDD: RDD[List[Int]] = sc.makeRDD(Array(List(1,2),List(3,4)))    val listRDD: RDD[Int] = arrayRDD.flatMap(data=>data)    listRDD.collect().foreach(println)

val conf = new SparkConf().setAppName("spark").setMaster("local")    val sc = new SparkContext(conf)    val rdd = sc.parallelize(Array("a b c","b c d"))    val result = rdd.flatMap(_.split(" "))    println(result.collect().mkString(","))

##sample
參數(shù)1 是否抽出的數(shù)據(jù)放回
參數(shù)2 抽樣比例 浮點(diǎn)型
參數(shù)3 種子，默認(rèn)值

val conf = new SparkConf().setAppName("spark").setMaster("local")    val sc = new SparkContext(conf)    val rdd = sc.parallelize(1 to 10)    val result = rdd.sample(false,0.5)    println(result.collect().mkString(","))

##union
求并集

##intersection
求交集

##distinct
去除重復(fù)元素

到此，關(guān)于“Spark算子的轉(zhuǎn)換操作介紹”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！