Spark本質(zhì)以及如何用Spark進(jìn)行數(shù)據(jù)分析

本篇文章給大家分享的是有關(guān)Spark本質(zhì)以及如何用Spark進(jìn)行數(shù)據(jù)分析，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

1. 什么是Apache Spark？

Apache Spark是一個為速度和通用目標(biāo)設(shè)計(jì)的集群計(jì)算平臺。

從速度的角度看，Spark從流行的MapReduce模型繼承而來，可以更有效地支持多種類型的計(jì)算，如交互式查詢和流處理。速度在大數(shù)據(jù)集的處理中非常重要，它可以決定用戶可以交互式地處理數(shù)據(jù)，還是等幾分鐘甚至幾小時(shí)。Spark為速度提供的一個重要特性是其可以在內(nèi)存中運(yùn)行計(jì)算，即使對基于磁盤的復(fù)雜應(yīng)用，Spark依然比MapReduce更有效。

從通用性來說，Spark可以處理之前需要多個獨(dú)立的分布式系統(tǒng)來處理的任務(wù)，這些任務(wù)包括批處理應(yīng)用、交互式算法、交互式查詢和數(shù)據(jù)流。通過用同一個引擎支持這些任務(wù)，Spark使得合并不同的處理類型變得簡單，而合并操作在生產(chǎn)數(shù)據(jù)分析中頻繁使用。而且，Spark降低了維護(hù)不同工具的管理負(fù)擔(dān)。

Spark被設(shè)計(jì)的高度易訪問，用Python、Java、Scala和SQL提供簡單的API，而且提供豐富的內(nèi)建庫。Spark也與其他大數(shù)據(jù)工具進(jìn)行了集成。特別地，Spark可以運(yùn)行在Hadoop的集群上，可以訪問任何Hadoop的數(shù)據(jù)源，包括Cassandra。

2. 一個統(tǒng)一的棧

Spark項(xiàng)目包含多個緊密集成的組件。作為其核心，Spark是一個“計(jì)算引擎”，負(fù)責(zé)在多個工作機(jī)器之間或一個計(jì)算集群上調(diào)度、分發(fā)和監(jiān)控由計(jì)算任務(wù)組成的應(yīng)用。Spark核心引擎速度快且具有通用性，它可以驅(qū)動針對各種各樣負(fù)載的不同組件，例如SQL或機(jī)器學(xué)習(xí)。這些組件可以緊密交互，使得你可以向庫程序一樣在一個軟件項(xiàng)目中組合他們。

緊耦合的方式有諸多好處。所有棧中的庫和高層組件都可以從低層組件的改進(jìn)中受益。例如，當(dāng)Spark的核心引擎進(jìn)行了優(yōu)化，SQL和機(jī)器學(xué)習(xí)庫會自動加速。第二，運(yùn)行棧的開銷最小化，因?yàn)椴恍枰\(yùn)行5-10個獨(dú)立的軟件系統(tǒng)，只運(yùn)行一個就夠了。這些運(yùn)行開銷包括部署、維護(hù)、測試、支持和其他操作。這意味著每當(dāng)Spark棧有新的組件加入，使用Spark的團(tuán)隊(duì)可以立即試用這個新組件。過去嘗試一個新的數(shù)據(jù)分析軟件需要下載、部署和學(xué)習(xí)，現(xiàn)在只需要升級Spark即可。

最后，緊耦合方式的一個的好處是可以建立應(yīng)用，這些應(yīng)用可以不停地合并不同的處理模型。例如，通過Spark可以寫一個應(yīng)用，根據(jù)輸入的數(shù)據(jù)流使用機(jī)器學(xué)習(xí)來實(shí)時(shí)的進(jìn)行分類操作；于此同時(shí)，分析員可以通過SQL實(shí)時(shí)地查詢結(jié)果數(shù)據(jù)。并且，更多的數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)家可以用Pyhton Shell訪問數(shù)據(jù)來進(jìn)行廣告分析。其他人員可能在單獨(dú)的批處理應(yīng)用中訪問數(shù)據(jù)。自始至終，IT團(tuán)隊(duì)只需要維護(hù)一個系統(tǒng)。

這里我們將簡單介紹Spark的每個組件，見圖1-1

圖1-1 Spark棧

3. Spark 核心組件

Spark核心組件包含Spark的基本功能，有任務(wù)調(diào)度組件、內(nèi)存管理組件、容錯恢復(fù)組件、與存儲系統(tǒng)交互的組件等。Spark核心組件提供了定義彈性分布式數(shù)據(jù)集（resilient distributed datasets，RDDs）的API，這組API是Spark主要的編程抽象。RDDs表示分布在多個不同機(jī)器節(jié)點(diǎn)上，可以被并行處理的數(shù)據(jù)集合。Spark核心組件提供許多API來創(chuàng)建和操作這些集合。

Spark SQL

Spark SQL是Spark用來處理結(jié)構(gòu)化數(shù)據(jù)的包。它使得可以像Hive查詢語言（Hive Query Language, HQL）一樣通過SQL語句來查詢數(shù)據(jù)，支持多種數(shù)據(jù)源，包括Hive表、Parquet和JSON。除了為Spark提供一個SQL接口外，Spark SQL允許開發(fā)人員將SQL查詢和由RDDs通過Python、Java和Scala支持的數(shù)據(jù)編程操作混合進(jìn)一個單一的應(yīng)用中，進(jìn)而將SQL與復(fù)雜的分析結(jié)合。與計(jì)算密集型環(huán)境緊密集成使得Spark SQL不同于任何其他開源的數(shù)據(jù)倉庫工具。Spark SQL在Spark 1.0版本中引入Spark。

Shark是一個較老的由加利福尼亞大學(xué)和伯克利大學(xué)開發(fā)的Spark上的SQL項(xiàng)目，通過修改Hive而運(yùn)行在Spark上?，F(xiàn)在已經(jīng)被Spark SQL取代，以提供與Spark引擎和API更好的集成。

Spark流（Spark Streaming）

Spark流作為Spark的一個組件，可以處理實(shí)時(shí)流數(shù)據(jù)。流數(shù)據(jù)的例子有生產(chǎn)環(huán)境的Web服務(wù)器生成的日志文件，用戶向一個Web服務(wù)請求包含狀態(tài)更新的消息。Spark流提供一個和Spark核心RDD API非常匹配的操作數(shù)據(jù)流的API，使得編程人員可以更容易地了解項(xiàng)目，并且可以在操作內(nèi)存數(shù)據(jù)、磁盤數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)的應(yīng)用之間快速切換。Spark流被設(shè)計(jì)為和Spark核心組件提供相同級別的容錯性，吞吐量和可伸縮性。

MLlib

Spark包含一個叫做MLlib的關(guān)于機(jī)器學(xué)習(xí)的庫。MLlib提供多種類型的機(jī)器學(xué)習(xí)算法，包括分類、回歸、聚類和協(xié)同過濾，并支持模型評估和數(shù)據(jù)導(dǎo)入功能。MLlib也提供一個低層的機(jī)器學(xué)習(xí)原語，包括一個通用的梯度下降優(yōu)化算法。所有這些方法都可以應(yīng)用到一個集群上。

GraphX

GraphX是一個操作圖（如社交網(wǎng)絡(luò)的好友圖）和執(zhí)行基于圖的并行計(jì)算的庫。與Spark流和Spark SQL類似，GraphX擴(kuò)展了Spark RDD API，允許我們用和每個節(jié)點(diǎn)和邊綁定的任意屬性來創(chuàng)建一個有向圖。GraphX也提供了各種各樣的操作圖的操作符，以及關(guān)于通用圖算法的一個庫。

集群管理器Cluster Managers

在底層，Spark可以有效地從一個計(jì)算節(jié)點(diǎn)擴(kuò)展到成百上千個節(jié)點(diǎn)。為了在***化靈活性的同時(shí)達(dá)到這個目標(biāo)，Spark可以運(yùn)行在多個集群管理器上，包括Hadoop YARN，Apache Mesos和一個包含在Spark中的叫做獨(dú)立調(diào)度器的簡易的集群管理器。如果你在一個空的機(jī)器群上安裝Spark，獨(dú)立調(diào)度器提供一個簡單的方式；如果你已經(jīng)有一個Hadoop YARN或Mesos集群，Spark支持你的應(yīng)用允許在這些集群管理器上。第七章給出了不同的選擇，以及如何選擇正確的集群管理器。

4. 誰使用Spark？用Spark做什么？

由于Spark是一個面向集群計(jì)算的通用框架，可用于許多不同的應(yīng)用。在序言中我們指出了這本書的兩種讀者：數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師。我們仔細(xì)地分析一下這兩種人和他們使用Spark的方式。明顯地，典型的使用案例是不同的，但我們可以將他們粗略地分為兩類，數(shù)據(jù)科學(xué)和數(shù)據(jù)應(yīng)用。

當(dāng)然了，這是一個不精確的分類和使用模式，許多人同時(shí)具有著兩種技能，有時(shí)扮演數(shù)據(jù)挖掘科學(xué)家的角色，然后又編寫一個數(shù)據(jù)處理的應(yīng)用。盡管如此，區(qū)分為兩個組以及他們的使用案例仍然是有意義的。
數(shù)據(jù)科學(xué)的任務(wù)

數(shù)據(jù)科學(xué)，近幾年出現(xiàn)的一門學(xué)科，專注于分析數(shù)據(jù)。盡管沒有一個標(biāo)準(zhǔn)的定義，我們認(rèn)為一個數(shù)據(jù)科學(xué)家的主要工作是分析和建模數(shù)據(jù)。數(shù)據(jù)科學(xué)家可能會SQL，統(tǒng)計(jì)學(xué)，預(yù)測模型（機(jī)器學(xué)習(xí)），用Python、MATLAB或R編程。數(shù)據(jù)科學(xué)家能將數(shù)據(jù)格式化，用于進(jìn)一步的分析。

數(shù)據(jù)科學(xué)家為了回答一個問題或進(jìn)行深入研究，會使用相關(guān)的技術(shù)分析數(shù)據(jù)。通常，他們的工作包含特殊的分析，所以他們使用交互式shell，以使得他們能在最短的時(shí)間內(nèi)看到查詢結(jié)果和代碼片段。Spark的速度和簡單的API接口很好地符合這個目標(biāo)，它的內(nèi)建庫意味著很多算法可以隨時(shí)使用。

Spark通過若干組件支持不同的數(shù)據(jù)科學(xué)任務(wù)。Spark shell使得用Python或Scala進(jìn)行交互式數(shù)據(jù)分析變得簡單。Spark SQL也有一個獨(dú)立的SQL shell，可以用SQL進(jìn)行數(shù)據(jù)分析，也可以在Spark程序中或Spark shell中使用Spark SQL。MLlib庫支持機(jī)器學(xué)習(xí)和數(shù)據(jù)分析。而且，支持調(diào)用外部的MATLAB或R語言編寫的程序。Spark使得數(shù)據(jù)科學(xué)家可以用R或Pandas等工具處理包含大量數(shù)據(jù)的問題。

有時(shí)，經(jīng)過初始的數(shù)據(jù)處理階段后，數(shù)據(jù)科學(xué)家的工作將被產(chǎn)品化，擴(kuò)展，加固（容錯性），進(jìn)而成為一個生產(chǎn)數(shù)據(jù)處理應(yīng)用，作為商業(yè)應(yīng)用的一個組件。例如，一個數(shù)據(jù)科學(xué)家的研究成果可能會產(chǎn)生一個產(chǎn)品推薦系統(tǒng)，集成到一個web應(yīng)用上，用來向用戶生成產(chǎn)品建議。通常由另外的人員（如工程師）對數(shù)據(jù)科學(xué)家的工作進(jìn)行產(chǎn)品化。

數(shù)據(jù)處理應(yīng)用

Spark的另外一個主要的使用可以從工程師的角度進(jìn)行描述。在這里，工程師指使用Spark來構(gòu)建生產(chǎn)數(shù)據(jù)處理應(yīng)用的大量的軟件開發(fā)者。這些開發(fā)者了解軟件工程的概念和原則，如封裝、接口設(shè)計(jì)和面向?qū)ο缶幊獭Ｋ麄兺ǔＳ杏?jì)算機(jī)學(xué)科的學(xué)位。他們通過自己的軟件工程技能來設(shè)計(jì)和構(gòu)建實(shí)現(xiàn)某個商業(yè)使用場景的軟件系統(tǒng)。

對工程師而言，Spark提供了一個簡單的方式在集群之間并行化這些應(yīng)用，隱藏了分布式系統(tǒng)、網(wǎng)絡(luò)通信和容錯處理的復(fù)雜性。系統(tǒng)使得工程師在實(shí)現(xiàn)任務(wù)的同時(shí)，有充足的權(quán)限監(jiān)控、檢查和調(diào)整應(yīng)用。API的模塊特性使得重用已有工作和本地測試變得簡單。

Spark用戶使用Spark作為其數(shù)據(jù)處理應(yīng)用，因?yàn)樗峁┝素S富的功能，易于學(xué)習(xí)和使用，而且成熟可靠。

5. Spark歷史簡介

Spark是一個開源項(xiàng)目，由多個不同的開發(fā)者社區(qū)進(jìn)行維護(hù)。如果你或你的團(tuán)隊(duì)***次使用Spark，你可能對它的歷史感興趣。Spark由UC伯克利RAD實(shí)驗(yàn)室（現(xiàn)在是AMP實(shí)驗(yàn)室）在2009年作為一個研究項(xiàng)目創(chuàng)建。實(shí)驗(yàn)室的研究人員之前基于Hadoop MapReduce工作，他們發(fā)現(xiàn)MapReduce對于迭代和交互式計(jì)算任務(wù)效率不高。因此，在開始階段，Spark主要為交互式查詢和迭代算法設(shè)計(jì)，支持內(nèi)存存儲和高效的容錯恢復(fù)。

在2009年Spark創(chuàng)建不久后，就有關(guān)于Spark的學(xué)術(shù)性文章發(fā)表，在一些特定任務(wù)中，Spark的速度可以達(dá)到MapReduce的10-20倍。

一部分Spark的用戶是UC伯克利的其他組，包括機(jī)器學(xué)習(xí)的研究人員，如Mobile Millennium項(xiàng)目組，該組用Spark來監(jiān)控和預(yù)測舊金山灣區(qū)的交通擁堵情況。在一個非常短的時(shí)間內(nèi)，許多外部的機(jī)構(gòu)開始使用Spark，現(xiàn)在，已經(jīng)有超過50個機(jī)構(gòu)在使用Spark，還有一些機(jī)構(gòu)公布了他們在Spark Meetups和Spark Summit等Spark社區(qū)的使用情況。Spark主要的貢獻(xiàn)者有Databricks，雅虎和因特爾。

在2011年，AMP實(shí)驗(yàn)室開始開發(fā)Spark上的上層組件，如Shark和Spark流。所有這些組件有時(shí)被稱為伯克利數(shù)據(jù)分析棧（Berkeley Data Analytics Stack，BDAS）。

Spark在2010年3月開源，在2014年6月移入Apache軟件基金會，現(xiàn)在是其***項(xiàng)目。

6. Spark版本和發(fā)布

自從創(chuàng)建以來，Spark是一個非常活躍的項(xiàng)目和社區(qū)，每個發(fā)布版本的貢獻(xiàn)者都在增長。Spark 1.0有超過100個貢獻(xiàn)者。盡管活躍等級迅速增長，社區(qū)依然以一個固定的規(guī)劃發(fā)布Spark的更新版本。Spark 1.0在2014年5月發(fā)布。這本書主要基于Spark 1.1.0編寫，但其概念和例子也適用較早的版本。

7. Spark存儲層

Spark可以從存儲在Hadoop分布式文件系統(tǒng)（HDFS）中的任何文件，或其他Hadoop API支持的存儲系統(tǒng)（如本地文件系統(tǒng)，Amazon S3， Cassandra， Hive，HBase等）創(chuàng)建分布式數(shù)據(jù)集。有一點(diǎn)一定要記住，Hadoop對Spark來說不是必須的，Spark可以支持任何實(shí)現(xiàn)了Hadoop API的存儲系統(tǒng)。Spark支持文本文件、序列文件、Avro、Parquet，以及任何其他Hadoop的輸入格式。

以上就是Spark本質(zhì)以及如何用Spark進(jìn)行數(shù)據(jù)分析，小編相信有部分知識點(diǎn)可能是我們?nèi)粘９ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注億速云行業(yè)資訊頻道。