怎樣解析Spark大數據分析框架的核心部件

這期內容當中小編將會給大家?guī)碛嘘P怎樣解析Spark大數據分析框架的核心部件，文章內容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

Spark大數據分析框架的核心部件包含RDD內存數據結構、Streaming流計算框架、GraphX圖計算與網狀數據挖掘、MLlib機器學習支持框架、Spark SQL數據檢索語言、Tachyon文件系統、SparkR計算引擎等主要部件，這里做一個簡單的介紹。

一、RDD內存數據結構

大數據分析系統一般包括數據獲取、數據清洗、數據處理、數據分析、報表輸出等子系統。Spark為了方便數據處理、提升性能，專門引入了RDD數據內存結構，這一點與R的機制非常類似。用戶程序只需要訪問RDD的結構，與存儲系統的數據調度、交換都由提供者驅動去實現。RDD可以與Haoop的 HBase、HDFS等交互，用作數據存儲系統，當然也可以通過擴展支持很多其它的數據存儲系統。

因為有了RDD，應用模型就與物理存儲分離開來，而且能夠更容易地處理大量數據記錄遍歷搜索的情況，這一點非常重要。因為Hadoop的結構主要適用于順序處理，要翻回去反復檢索數據的話效率就非常低下，而且缺乏一個統一的實現框架，由算法開發(fā)者自己去想辦法實現。毫無疑問，這具有相當大的難度。 RDD的出現，使這一問題得到了一定程度的解決。但正因為RDD是核心部件、實現難度大，這一塊的性能、容量、穩(wěn)定性直接決定著其它算法的實現程度。從目前看，還是經常會出現RDD占用的內存過載出問題的情況。

二、Streaming流計算框架

流是現在推特、微博、微信、圖片服務以及物聯網、位置服務等等的重要數據形態(tài)，因此流計算正顯得前所未有的重要。流計算框架是所有互聯網服務商的核心基礎架構，Amazon、Microsoft都已經推出了Event消息總線云服務平臺，而facebook\twitter等更是將自己的流計算框架開源。

Spark Streaming專門設計用于處理流式數據。通過Spark Streaming，可以快速地將數據推入處理環(huán)節(jié)，猶如流水線一樣進行快速的加工，并在最短的時間反饋給使用。

三、GraphX圖計算與網狀數據挖掘

物理網絡的拓撲結構，社交網絡的連接關系，傳統數據庫的E-R關系，都是典型的圖(Graph)數據模型。Hadoop主要適用于“數據量”很大的場合，對于關系的處理幾乎沒有支持，Hbase也是非常弱的關系處理能力。圖數據結構往往需要快速多次對數據進行掃描式遍歷，RDD的引入使Spark可以更高效地處理基于圖的數據結構，從而使存儲和處理大規(guī)模的圖網絡成為可能。類似的專用于圖的系統還有neo4j等。

GraphX相對于傳統數據庫的關系連接，可以處理更大規(guī)模、更深度的拓撲關系，可以在多個集群節(jié)點上進行運算，確實是現代數據關系研究的利器。

四、MLlib機器學習支持框架

通過把機器學習的算法移植到Spark架構上，一方面可以利用底層的大規(guī)模存儲和RDD的數據快速訪問能力，還可以利用圖數據結構和集群計算的處理能力，使機器學習的運算可以在大規(guī)模的集群系統上展開，即大力拓展了機器學習算法的應用能力。

五、Spark SQL數據檢索語言

這個跟基于Hive的實現有些類似，但是基于RDD理論上能提供更好的性能，同時能更方便處理如join和關系檢索等操作。這個被設計為與用戶交互的一個標準化入口。

六、Tachyon文件系統

Tachyon是一個類似于HDFS的實現，不過感覺上更加接近于使用者，而HDFS主要是面向存儲塊的。

七、SparkR計算引擎

將R語言的能力應用到Spark基礎計算架構上，為其提供算法引擎。

上述就是小編為大家分享的怎樣解析Spark大數據分析框架的核心部件了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業(yè)資訊頻道。