溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
今天就跟大家聊聊有關(guān)spark中怎么自定義分區(qū)，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。
實現(xiàn)的功能是根據(jù)key值的最后一位數(shù)字，寫到不同的文件
例如：
10寫入到part-00000
11寫入到part-00001
.
.
.
19寫入到part-00009
給讀者提供一個自定義分區(qū)的思路
import org.apache.spark.{Partitioner, SparkContext, SparkConf}
//自定義分區(qū)類，需繼承Partitioner類
class UsridPartitioner(numParts:Int) extends Partitioner{
//覆蓋分區(qū)數(shù)
override def numPartitions: Int = numParts
//覆蓋分區(qū)號獲取函數(shù)
override def getPartition(key: Any): Int = {
key.toString.toInt%10
}
}
object Test {
def main(args: Array[String]) {
val conf=new SparkConf()
val sc=new SparkContext(conf)
//模擬5個分區(qū)的數(shù)據(jù)
val data=sc.parallelize(1 to 10,5)
//根據(jù)尾號轉(zhuǎn)變?yōu)?0個分區(qū)，分寫到10個文件
data.map((_,1)).partitionBy(new UsridPartitioner(10)).saveAsTextFile("/chenm/partition")
}
}看完上述內(nèi)容，你們對spark中怎么自定義分區(qū)有進(jìn)一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號
手機(jī)網(wǎng)站二維碼