Spark能做什么？Spark應(yīng)用領(lǐng)域

Spark能做什么？Spark應(yīng)用領(lǐng)域

Spark是大數(shù)據(jù)技術(shù)中數(shù)據(jù)計(jì)算處理的王者，能夠一次處理PB級(jí)的數(shù)據(jù)，分布在數(shù)千個(gè)協(xié)作的物理或虛擬服務(wù)器集群中，它有一套廣泛的開(kāi)發(fā)者庫(kù)和API，并且支持Java，Python，R和Scala等語(yǔ)言，其靈活的特性，適合各種環(huán)境，以下是Spark最常見(jiàn)的兩種應(yīng)用場(chǎng)景：

離線(xiàn)場(chǎng)景：可以以時(shí)間為維度，幾年的數(shù)據(jù)集，或者以業(yè)務(wù)為維度，某個(gè)領(lǐng)域的大數(shù)據(jù)集等，這種數(shù)據(jù)我們一般叫做離線(xiàn)數(shù)據(jù)，或者冷數(shù)據(jù)。

實(shí)時(shí)場(chǎng)景：網(wǎng)站埋點(diǎn)、實(shí)時(shí)從前端頁(yè)面?zhèn)鬏斶^(guò)來(lái)的數(shù)據(jù)、業(yè)務(wù)系統(tǒng)或物理硬件實(shí)時(shí)傳輸過(guò)來(lái)的數(shù)據(jù)、硬件信號(hào)或者圖像數(shù)據(jù)等，需要實(shí)時(shí)去計(jì)算處理并且返回結(jié)果的數(shù)據(jù)。

Spark是為數(shù)據(jù)科學(xué)設(shè)計(jì)的，數(shù)據(jù)科學(xué)家將Spark納入其應(yīng)用程序，能夠處理包括跨大型數(shù)據(jù)集的交互式查詢(xún)，來(lái)自傳感器或金融系統(tǒng)的流數(shù)據(jù)以及機(jī)器學(xué)習(xí)任務(wù)，且Spark將數(shù)據(jù)集緩存在內(nèi)存中的能力大大加快了迭代數(shù)據(jù)處理速度，使得Spark成為實(shí)現(xiàn)迭代的MapReduce算法的理想處理引擎。

Spark是為大數(shù)據(jù)工程師設(shè)計(jì)的，在強(qiáng)大的計(jì)算能力和優(yōu)秀的架構(gòu)設(shè)計(jì)面前，可以讓數(shù)據(jù)工程師在不管是離線(xiàn)情景下還是實(shí)時(shí)的業(yè)務(wù)需求下，都可以放心的選擇使用Spark。

Spark因其自身優(yōu)勢(shì)，發(fā)展勢(shì)頭迅猛，目前幾乎所有一站式大數(shù)據(jù)平臺(tái)都已集成了Spark，很多行業(yè)也都正在用Spark來(lái)改善他們的業(yè)務(wù)，以下是Spark在一些行業(yè)的具體用途：

保險(xiǎn)行業(yè)：通過(guò)使用Spark的機(jī)器學(xué)習(xí)功能來(lái)處理和分析所有索賠，優(yōu)化索賠報(bào)銷(xiāo)流程。

醫(yī)療保?。菏褂肧park Core，Streaming和SQL構(gòu)建病人護(hù)理系統(tǒng)。

零售業(yè)：使用Spark分析銷(xiāo)售點(diǎn)數(shù)據(jù)和優(yōu)惠券使用情況。

互聯(lián)網(wǎng)：使用Spark的ML功能來(lái)識(shí)別虛假的配置文件，并增強(qiáng)他們向客戶(hù)展示的產(chǎn)品匹配。

銀行業(yè)：使用機(jī)器學(xué)習(xí)模型來(lái)預(yù)測(cè)某些金融產(chǎn)品的零售×××的資料。

政府：分析地理，時(shí)間和財(cái)政支出。

科學(xué)研究：通過(guò)時(shí)間，深度，地理分析地震事件來(lái)預(yù)測(cè)未來(lái)的事件。

投資銀行：分析日內(nèi)股價(jià)以預(yù)測(cè)未來(lái)的價(jià)格走勢(shì)。

地理空間分析：按時(shí)間和地理分析Uber旅行，以預(yù)測(cè)未來(lái)的需求和定價(jià)。

Twitter情緒分析：分析大量的推文，以確定特定組織和產(chǎn)品的積極，消極或中立的情緒。

航空公司：建立預(yù)測(cè)航空旅行延誤的模型。

設(shè)備：預(yù)測(cè)建筑物超過(guò)臨界溫度的可能性。

Spark是大數(shù)據(jù)技術(shù)棧中重要框架技術(shù)，是專(zhuān)為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎，能夠支持分布式數(shù)據(jù)集上的迭代作用，且對(duì)Hadoop進(jìn)行補(bǔ)充，是一個(gè)高速發(fā)展應(yīng)用廣泛的生態(tài)系統(tǒng)。

老男孩官網(wǎng)咨詢(xún)：http://www.oldboyedu.com/

老男孩總部地址：北京市昌平區(qū)順沙路八號(hào)院匯德商廈4層