常用的開源數(shù)據(jù)分析應(yīng)用軟件有哪些

1. Hadoop

談到開源數(shù)據(jù)分析技術(shù)，就不可能不提到Hadoop。Apache基金會的這個項目已經(jīng)幾乎成為大數(shù)據(jù)的同義詞，它讓企業(yè)能夠大規(guī)模分布式處理極其龐大的數(shù)據(jù)集。TDWI和SAS聯(lián)合開展的一項調(diào)查發(fā)現(xiàn)，近60%的企業(yè)預(yù)計在2016年年底之前會在生產(chǎn)環(huán)境中擁有Hadoop集群。

然而值得一提的是，Hadoop本身無法實現(xiàn)數(shù)據(jù)分析。它通常是從大數(shù)據(jù)獲取洞察力的整個更龐大解決方案的一部分。

2. Spark

Spark也是Apache旗下的一個項目，它承諾可以迅速處理大數(shù)據(jù)。實際上，它聲稱“在內(nèi)存中運行程序的速度比Hadoop MapReduce快100倍，在磁盤上運行程度的速度快10倍。”由于這種出色性能，它常常用于分析流式數(shù)據(jù)或用于需要交互式分析功能的應(yīng)用軟件中。許多公司經(jīng)常把它與Hadoop或Mesos一起使用，不過它也能獨立運行。最近，它的人氣得到了急劇提升，Syncsort在2016年開展的一項調(diào)查發(fā)現(xiàn)，受訪的企業(yè)大數(shù)據(jù)工作人員中近70%對Spark有興趣。

3. Talend

不像前面兩個項目，Talend由一家營利公司管理，而不是由基金會管理。因而，提供收費支付服務(wù)。Talend既提供免費產(chǎn)品，又提供收費產(chǎn)品。它免費的開源解決方案名為Talend Open Studio，下載量已超過了200萬人次。

市場研究公司Gartner最近將Talend評為數(shù)據(jù)集成領(lǐng)域的“領(lǐng)導(dǎo)者”。這家公司聲稱，相比與之競爭的解決方案，它幫助企業(yè)分析大數(shù)據(jù)的速度快五倍，而成本卻只有五分之一。

4. Jaspersoft

與Talend一樣，Jaspersoft也有多個版本，有的版本免費，有的版本收費。社區(qū)版是免費、開源的，而Reporting版、AWS版、專業(yè)版和企業(yè)版需要收費，不過隨帶支持服務(wù)。

Jaspersoft是一款開源商業(yè)智能工具，旨在讓企業(yè)用戶可以借助自助服務(wù)，滿足自己的要求。該公司聲稱，它的技術(shù)支持130000多款應(yīng)用軟件，提供嵌入式商業(yè)智能功能。

5. Pentaho

Pentaho自詡為“全面的數(shù)據(jù)集成和商業(yè)智能平臺?！痹摴局饕罅ν其N它的商業(yè)版軟件，該軟件基于開源社區(qū)版。許多公司將它與Hadoop和Spark之類的工具一起使用，以便能夠報告和顯示大數(shù)據(jù)。該軟件聲稱擁有一大批的知名客戶，包括英國電信(BT)、卡特皮勒、納斯達(dá)克、美國國土安全部、美國國家海洋和大氣局(NOAA)、《紐約時報》、EMC及其他許多企業(yè)組織。

6. RapidMiner

RapidMiner聲稱是“頭號開源數(shù)據(jù)科學(xué)平臺”，Gartner將它評為高級分析魔力象限報告中的領(lǐng)導(dǎo)者。它能夠?qū)崿F(xiàn)自助式預(yù)測分析，承諾有望提升速度飛快的性能。用戶包括寶馬、漢莎航空、達(dá)美樂比薩公司、索尼、福特、Salesforce、國際特赦組織和通用電氣公司。整個RadiMiner平臺包括三個獨立的組件：RapidMiner Studio、RapidMiner Server和RapidMiner Radoop。這三個組件都采用開源許可證或商業(yè)許可證，商業(yè)版價格取決于用戶數(shù)量。

7. Storm

Apache Storm被雅虎、推特、Spotify、Yelp、Flipboard和Groupon之類的公司所使用，它是一種實時大數(shù)據(jù)處理引擎。它的官方網(wǎng)站解釋：“Storm讓用戶很容易可靠地處理無限制的數(shù)據(jù)流，它在實時處理方面的功能好比Hadoop在批處理方面的功能。”客戶可以將它與任何數(shù)據(jù)庫或任何編程語言一起使用。它具有可擴展、容錯、易于部分使用的優(yōu)點。然而用戶要注意的是，Storm還沒有進入到1.0版本這個階段。

8. H2O

H2O被60000多個數(shù)據(jù)科學(xué)家和7000多家企業(yè)組織所使用，聲稱是“世界上領(lǐng)先的開源機器學(xué)習(xí)平臺?！庇捎谒膬?nèi)存技術(shù)，它提供了極其出色的性能。它還與Hadoop和Spark之類的其他許多開源數(shù)據(jù)分析工具整合起來，支持所有主要的流行數(shù)據(jù)庫，提供收費的支持服務(wù)。

除了標(biāo)準(zhǔn)版的H2O外，該公司還提供Sparkling Water，這個版本整合了Spark和Steam，后者是一種端到端人工智能應(yīng)用引擎。

9. Lumif3y

Lumify由一家名為Altamira 科技的公司開發(fā)，自稱是“開源大數(shù)據(jù)分析和可視化平臺?！彼層脩粢子趧?chuàng)建二維或三維圖形，可顯示實體之間的關(guān)系，或在地圖上覆蓋數(shù)據(jù)。對于有興趣深入了解它的工作原理的那些人來說，官方網(wǎng)站提供了幾個視頻，顯示了Lumify的實際運行，上面還有一個演示網(wǎng)站，讓用戶可以上傳自己的數(shù)據(jù)，并試用軟件。

10. Drill

Apache Dril讓用戶得以使用SQL查詢用于非關(guān)系型數(shù)據(jù)存儲系統(tǒng)。它支持一系列NoSQL和基于云的數(shù)據(jù)存儲系統(tǒng)，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亞馬遜S3、Azure Blob Storage、谷歌云存儲和Swift。它還讓用戶可以使用單一查詢，即可搜索用不同技術(shù)存儲起來的多個數(shù)據(jù)集。此外，它支持許多流行的商業(yè)智能工具。

11. MongoDB

作為最知名的NoSQL數(shù)據(jù)庫之一，MongoDB是一種開源非關(guān)系型數(shù)據(jù)存儲解決方案?？蛻舭ù蠖紩藟?MetLife)、芝加哥市、Expedia、谷歌、氣象頻道、BuzzFeed和Facebook。除了免費開源版外，該公司還提供一款收費的企業(yè)版和云托管的版本MongoDB Atlas。知名市場研究機構(gòu)弗雷斯特研究公司將MongoDB評為大數(shù)據(jù)NoSQL領(lǐng)域的“領(lǐng)導(dǎo)者”。

12. SpagoBI

SpagoBI是一款開源商業(yè)智能和大數(shù)據(jù)分析平臺。該軟件完全免費，但還提供收費的用戶支持、維護、咨詢和培訓(xùn)等服務(wù)。它包括了用于報告、多維分析(OLAP)、圖表、位置情報、數(shù)據(jù)挖掘、ETL(抽取轉(zhuǎn)換和加載)及更多其他方面的工具。它還與流行的內(nèi)存處理引擎整合起來，能夠?qū)崿F(xiàn)實時處理。