大數(shù)據開發(fā)過程中常用的分析軟件

大數(shù)據開發(fā)過程中常用的分析軟件

大數(shù)據研究的出現(xiàn)，為企業(yè)、研究機構、政府決策提供了新的行之有效思路和手段，想要做好大數(shù)據的管理和分析，一些大數(shù)據開發(fā)工具的使用是必不可少的，以下是大數(shù)據開發(fā)過程中常用的工具：

1. Apache Hive

Hive是一個建立在Hadoop上的開源數(shù)據倉庫基礎設施，通過Hive可以很容易的進行數(shù)據的ETL,對數(shù)據進行結構化處理,并對Hadoop上大數(shù)據文件進行查詢和處理等。 Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數(shù)據提供了方便。

2. Apache Spark

Apache Spark是Hadoop開源生態(tài)系統(tǒng)的新成員。它提供了一個比Hive更快的查詢引擎，因為它依賴于自己的數(shù)據處理框架而不是依靠Hadoop的HDFS服務。同時，它還用于事件流處理、實時查詢和機器學習等方面。

3. Jaspersoft BI 套件

Jaspersoft包是一個通過數(shù)據庫列生成報表的開源軟件。行業(yè)領導者發(fā)現(xiàn)Jaspersoft軟件是一流的, 許多企業(yè)已經使用它來將SQL表轉化為pdf,，這使每個人都可以在會議上對其進行審議。另外，JasperReports提供了一個連接配置單元來替代HBase。

4. Keen IO

Keen IO是個強大的移動應用分析工具。開發(fā)者只需要簡單到一行代碼， 就可以跟蹤他們想要的關于他們應用的任何信息。開發(fā)者接下來只需要做一些Dashboard或者查詢的工作就可以了。

5. Mortar Data

Mortar Data是專為開發(fā)者打造的Hadoop開發(fā)平臺，它用Pig和Python的組合替代了MapReduce以便開發(fā)者能簡單地編寫Hadoop管道（Pipeline）。

6. Placed Analytics

利用腳本語言以及API， PlacedAnalytics能夠提供針對移動和網絡應用的詳細用戶行為分析。包括， 用戶使用時間和地理位置信息。 這些可以幫助開發(fā)者的應用更好地吸引廣告商， 也可以幫助開發(fā)者對自己的應用進行改善。

7. Ingres Corp

它擁有超過一萬客戶而且正在擴增。它通過Vectorwise以及對ParAccel實現(xiàn)了擴展。這些發(fā)展分別導致了Actian Vector和Actian Matrix的創(chuàng)建。它有Apache，Cloudera，Hortonworks以及其他發(fā)行版本可供選擇。

8. Talend Open Studio

Talend是一個統(tǒng)一的平臺，它通過提供一個統(tǒng)一的，跨企業(yè)邊界生命周期管理的環(huán)境，使數(shù)據管理和應用更簡單便捷。這種設計可以幫助企業(yè)構建靈活、高性能的企業(yè)架構,在次架構下，集成并啟用百分之百開源服務的分布式應用程序變?yōu)榭赡堋?/span>

9. Cloudera

Cloudera正在努力為開源Hadoop,提供支持，Hadoop可以作為目標數(shù)據倉庫，高效的數(shù)據平臺，或現(xiàn)有數(shù)據倉庫的ETL來源。企業(yè)規(guī)模可以用作集成Hadoop與傳統(tǒng)數(shù)據倉庫的基礎。 Cloudera致力于成為數(shù)據管理的“重心”。

10. Pentaho Business Analytics

Pentaho的工具可以連接到NoSQL數(shù)據庫，有很多內置模塊，可以把它們拖放到一個圖片上, 然后將它們連接起來。

工具的熟練使用可以起到事半功倍的效果，以上僅僅是一些數(shù)據開發(fā)過程中常用的工具，對于大數(shù)據開發(fā)人員來說是需要熟練掌握的，當然，大數(shù)據開發(fā)過程中也會需要借助一些其他的工具，這就需要大數(shù)據開發(fā)人員具有發(fā)現(xiàn)和解決問題的能力，以及養(yǎng)成善于積累的習慣！如果想學習大數(shù)據開發(fā)可以與老男孩教育聯(lián)系！