常見的Hadoop和Spark項(xiàng)目有哪些

這篇文章主要介紹常見的Hadoop和Spark項(xiàng)目有哪些，文中介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們一定要看完！

項(xiàng)目一：數(shù)據(jù)整合

稱之為“企業(yè)級數(shù)據(jù)中心”或“數(shù)據(jù)湖”，這個想法是你有不同的數(shù)據(jù)源，你想對它們進(jìn)行數(shù)據(jù)分析。這類項(xiàng)目包括從所有來源獲得數(shù)據(jù)源（實(shí)時或批處理）并且把它們存儲在hadoop中。有時，這是成為一個“數(shù)據(jù)驅(qū)動的公司”的第一步；有時，或許你僅僅需要一份漂亮的報(bào)告?！捌髽I(yè)級數(shù)據(jù)中心”通常由HDFS文件系統(tǒng)和HIVE或IMPALA中的表組成。未來，HBase和Phoenix在大數(shù)據(jù)整合方面將大展拳腳，打開一個新的局面，創(chuàng)建出全新的數(shù)據(jù)美麗新世界。

銷售人員喜歡說“讀模式”，但事實(shí)上，要取得成功，你必須清楚的了解自己的用例將是什么（Hive模式不會看起來與你在企業(yè)數(shù)據(jù)倉庫中所做的不一樣）。真實(shí)的原因是一個數(shù)據(jù)湖比Teradata和Netezza公司有更強(qiáng)的水平擴(kuò)展性和低得多的成本。許多人在做前端分析時使用Tabelu和Excel。許多復(fù)雜的公司以“數(shù)據(jù)科學(xué)家”用Zeppelin或IPython筆記本作為前端。

項(xiàng)目二：專業(yè)分析

許多數(shù)據(jù)整合項(xiàng)目實(shí)際上是從你特殊的需求和某一數(shù)據(jù)集系統(tǒng)的分析開始的。這些往往是令人難以置信的特定領(lǐng)域，如在銀行領(lǐng)域的流動性風(fēng)險/蒙特卡羅模擬分析。在過去，這種專業(yè)的分析依賴于過時的，專有的軟件包，無法擴(kuò)大數(shù)據(jù)的規(guī)模經(jīng)常遭受一個有限的功能集（大部分是因?yàn)檐浖S商不可能像專業(yè)機(jī)構(gòu)那樣了解的那么多）。

在Hadoop和Spark的世界，看看這些系統(tǒng)大致相同的數(shù)據(jù)整合系統(tǒng)，但往往有更多的HBase，定制非SQL代碼，和更少的數(shù)據(jù)來源（如果不是唯一的）。他們越來越多地以Spark為基礎(chǔ)。

項(xiàng)目三：Hadoop作為一種服務(wù)

在“專業(yè)分析”項(xiàng)目的任何大型組織（諷刺的是，一個或兩個“數(shù)據(jù)整理”項(xiàng)目）他們會不可避免地開始感覺“快樂”（即，疼痛）管理幾個不同配置的Hadoop集群，有時從不同的供應(yīng)商。接下來，他們會說，“也許我們應(yīng)該整合這些資源池，”而不是大部分時間讓大部分節(jié)點(diǎn)處于資源閑置狀態(tài)。它們應(yīng)該組成云計(jì)算，但許多公司經(jīng)常會因?yàn)榘踩脑颍▋?nèi)部政治和工作保護(hù)）不能或不會。這通常意味著很多Docker容器包。

我沒有使用它，但最近Bluedata（藍(lán)色數(shù)據(jù)國際中心）似乎有一個解決方案，這也會吸引小企業(yè)缺乏足夠的資金來部署Hadoop作為一種服務(wù)。

項(xiàng)目四：流分析

很多人會把這個“流”，但流分析是不同的，從設(shè)備流。通常，流分析是一個組織在批處理中的實(shí)時版本。以反洗錢和欺詐檢測：為什么不在交易的基礎(chǔ)上，抓住它發(fā)生而不是在一個周期結(jié)束？同樣的庫存管理或其他任何。
在某些情況下，這是一種新的類型的交易系統(tǒng)，分析數(shù)據(jù)位的位，因?yàn)槟銓⑺⒙?lián)到一個分析系統(tǒng)中。這些系統(tǒng)證明自己如Spark或Storm與Hbase作為常用的數(shù)據(jù)存儲。請注意，流分析并不能取代所有形式的分析，對某些你從未考慮過的事情而言，你仍然希望分析歷史趨勢或看過去的數(shù)據(jù)。

項(xiàng)目五：復(fù)雜事件處理

在這里，我們談?wù)摰氖莵喢爰壍膶?shí)時事件處理。雖然還沒有足夠快的超低延遲（皮秒或納秒）的應(yīng)用，如高端的交易系統(tǒng)，你可以期待毫秒響應(yīng)時間。例子包括對事物或事件的互聯(lián)網(wǎng)電信運(yùn)營商處理的呼叫數(shù)據(jù)記錄的實(shí)時評價。有時，你會看到這樣的系統(tǒng)使用Spark和HBase——但他們一般落在他們的臉上，必須轉(zhuǎn)換成Storm，這是基于由LMAX交易所開發(fā)的干擾模式。
在過去，這樣的系統(tǒng)已經(jīng)基于定制的消息或高性能，從貨架上，客戶端-服務(wù)器消息產(chǎn)品-但今天的數(shù)據(jù)量太多了。我還沒有使用它，但Apex項(xiàng)目看起來很有前途，聲稱要比Storm快。

項(xiàng)目六：ETL流

有時你想捕捉流數(shù)據(jù)并把它們存儲起來。這些項(xiàng)目通常與1號或2號重合，但增加了各自的范圍和特點(diǎn)。（有些人認(rèn)為他們是4號或5號，但他們實(shí)際上是在向磁盤傾倒和分析數(shù)據(jù)。），這些幾乎都是Kafka和Storm項(xiàng)目。Spark也使用，但沒有理由，因?yàn)槟悴恍枰趦?nèi)存分析。

項(xiàng)目七：更換或增加SAS

SAS是精細(xì)，是好的但SAS也很貴，我們不需要為你的數(shù)據(jù)科學(xué)家和分析師買存儲你就可以“玩”數(shù)據(jù)。此外，除SAS可以做或產(chǎn)生漂亮的圖形分析外，你還可以做一些不同的事情。這是你的“數(shù)據(jù)湖”。這里是IPython筆記本（現(xiàn)在）和Zeppelin（以后）。我們用SAS存儲結(jié)果。

當(dāng)我每天看到其他不同類型的Hadoop，Spark，或Storm項(xiàng)目，這些都是正常的。如果你使用Hadoop，你可能了解它們。幾年前我已經(jīng)實(shí)施了這些項(xiàng)目中的部分案例，使用的是其它技術(shù)。

如果你是一個老前輩太害怕“大”或“做”大數(shù)據(jù)Hadoop，不要擔(dān)心。事情越變越多，但本質(zhì)保持不變。你會發(fā)現(xiàn)很多相似之處的東西你用來部署和時髦的技術(shù)都是圍繞Hadooposphere旋轉(zhuǎn)的。

原文作者：Andrew C. Oliver，Andrew C. Oliver是一個專業(yè)的牧貓人兼職為一個軟件顧問。他是MammothData的總裁和創(chuàng)始人（原開放軟件集成商），一個坐落于達(dá)勒姆，北卡羅來納州的大數(shù)據(jù)咨詢公司。

以上是“常見的Hadoop和Spark項(xiàng)目有哪些”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道！