您好,登錄后才能下訂單哦!
這篇文章給大家介紹spark中怎么實(shí)現(xiàn)二次排序,內(nèi)容非常詳細(xì),感興趣的小伙伴們可以參考借鑒,希望對(duì)大家能有所幫助。
import org.apache.spark._ import SparkContext._ object SecondarySort { def main(args: Array[String]) { val sparkConf = new SparkConf().setAppName(" Secondary Sort ") sparkConf.set("mapreduce.framework.name", "yarn"); sparkConf.set("spark.rdd.compress", "true"); sparkConf.set("spark.serializer","org.apache.spark.serializer.KryoSerializer"); sparkConf.set("spark.storage.memoryFraction", "0.5"); sparkConf.set("spark.akka.frameSize", "100"); sparkConf.set("spark.default.parallelism", "1"); val sc = new SparkContext(sparkConf) val file = sc.textFile("hdfs://namenode:9000/test/secsortdata") val rdd = file.map(line => line.split("\t")). map(x => (x(0),x(1))).groupByKey(). sortByKey(true).map(x => (x._1,x._2.toList.sortWith(_>_))) val rdd2 = rdd.flatMap{ x => val len = x._2.length val array = new Array[(String,String)](len) for(i <- 0 until len) { array(i) = (x._1,x._2(i)) } array } sc.stop() } }
關(guān)于spark中怎么實(shí)現(xiàn)二次排序就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò),可以把它分享出去讓更多的人看到。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。