spark基礎-rdd特性

RDD特性：

1.RDD是spark提供的核心抽象，全稱：Resillient Distributed Dataset,即彈性分布式數(shù)據(jù)集。

2.RDD在抽象上來說是一種元素集合，包含了數(shù)據(jù)。它是被分區(qū)的，氛圍多個分區(qū)，每個分區(qū)分布在集群中的不同節(jié)點上，從而讓RDD中的數(shù)據(jù)可以并行操作（分布式數(shù)據(jù)集）

3.RDD通常通過Hadoop上的文件來創(chuàng)建。有時也可以通過應用程序中的集合賴床見。

4.RDD最重要的特性就是提供了容錯性，可以從節(jié)點失敗中恢復過來。即：如果某個節(jié)點的RDD partition因為節(jié)點故障導致數(shù)據(jù)丟失，那么RDD會自動通過自己的數(shù)據(jù)來源重新計算該partitin。

5.RDD的每個partition在spark節(jié)點上，默認都是放在內(nèi)存中，但是如果內(nèi)存中放不下這么多數(shù)據(jù)，多出來的數(shù)據(jù)，就會把partition中的部分數(shù)據(jù)寫在磁盤上，進而保存。對于用戶來說，并不知道RDD內(nèi)存數(shù)據(jù)存儲在哪里。RDD的這種自動進行內(nèi)存和詞牌之間的切換機制，就是RDD的彈性特點所在。

一個RDD在邏輯上抽象地代表了一個HDFS文件。但是實際上是唄分區(qū)的，氛圍多個分區(qū)，多個分區(qū)散落在spark集群中，不同的節(jié)點上。

Spark核心編程是什么：

首先，定義初始的RDD，就是說，要定義訂一個數(shù)據(jù)從哪里來。

第二：定義對RDD的計算操作，這個在spark里稱為算子

第三：就是循環(huán)往復的過程第一次計算完成后，數(shù)據(jù)就會到了新的一批節(jié)點上，變成了新的RDD，然后再次反復，針對新的RDD定義算子操作。

第四：獲得最終的數(shù)據(jù)，將數(shù)據(jù)保存起來。