什么是Spark RDD

這篇文章將為大家詳細(xì)講解有關(guān)什么是Spark RDD，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

   RDD 字面上就是彈性分布式數(shù)據(jù)集（Resiliennt Distributed Datasets），它是一種抽象的概念，擁有容錯(cuò)、只讀、分布式以及基于內(nèi)存的特性。這里的彈性是什么意思呢？首先，Spark會(huì)自動(dòng)地在內(nèi)存不足情況下，將數(shù)據(jù)‘溢出’到磁盤(pán)里，使用 persist 和 cache 方法可以將任意RDD緩存到內(nèi)存或?qū)懭氪疟P(pán)，程序可自動(dòng)根據(jù)數(shù)據(jù)情況進(jìn)行切換；其次就是當(dāng)某個(gè)RDD失效，通過(guò)Lineage 依賴(lài)鏈重新計(jì)算上有RDD即可找回?cái)?shù)據(jù)；最后就是失敗任務(wù)的重試機(jī)制，僅對(duì)失敗的RDD進(jìn)行特定次數(shù)的重試（默認(rèn)好像4次，這個(gè)可以通過(guò)spark.stage.maxConsecutiveAttempts和spark.task.maxFailures兩個(gè)參數(shù)調(diào)節(jié)，一個(gè)是針對(duì)stage級(jí)別的容錯(cuò)，一個(gè)是task級(jí)別）

    明白了RDD的基本概念，如何創(chuàng)建一個(gè)RDD呢？剛開(kāi)始學(xué)習(xí)的時(shí)候可以使用HDFS文件創(chuàng)建，簡(jiǎn)化代碼如下：

    SparkConf cf = new SparkConf().setAppName("HDFSFileTest");

    JavaSparkContext jsc = new JavaSparkContext(cf); 

    JavaRDD<String> lines = jsc.textFile("hdfs://sparkT:9000/spark.txt");

    RDD的操作分為轉(zhuǎn)換和行動(dòng)兩個(gè)部分，Transformation只是RDD之間的轉(zhuǎn)換過(guò)程，不進(jìn)行實(shí)際計(jì)算：

     比如lines里面讀出來(lái)的是{1，2，3}，進(jìn)行map（）轉(zhuǎn)換操作：lines.

map(x=>x+l) ,輸出結(jié)果就是{2，3，4}

    只有Action才產(chǎn)生實(shí)際的計(jì)算：

    lines.count()統(tǒng)計(jì)RDD里返回結(jié)果：4

    RDD之間還存在寬窄依賴(lài)，也是一個(gè)比較重要的概念，窄依賴(lài)是指父 RDD 的每個(gè)分區(qū)都只被子 RDD 的一個(gè)分區(qū)所使用，如 map、flatMap、 union、filter、distinct、subtract、sample等；寬依賴(lài)是指父 RDD 的每個(gè)分區(qū)都被多個(gè)子 RDD 的分區(qū)所依賴(lài)，如groupByKey、reduceByKey、join等。

關(guān)于什么是Spark RDD就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。