大數據領域好用的開源軟件有哪些

本篇文章給大家分享的是有關大數據領域好用的開源軟件有哪些，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

相信大家都明白開源軟件的重要性，好用的開源軟件真的是太多了。下面就主要針對大數據領域，給大家推薦十款好用的開源軟件，即HBase、Hadoop分布式文件系統、Hive、Spark、Redis、SpagoBI、Lucene、HDP、CDH、HPCC。

1、HBase

HBase是為有數十億行和數百萬列的超大表設計的，這是一種分布式數據庫，可以對大數據進行隨機性的實時讀取/寫入訪問。它有點類似谷歌的Bigtable，不過基于Hadoop和Hadoop分布式文件系統（HDFS）而建。

2、Hadoop分布式文件系統（HDFS）

HDFS是面向Hadoop的文件系統，不過它也可以用作一種獨立的分布式文件系統。它基于Java，具有容錯性、高度擴展性和高度配置性。支持的操作系統：Windows、Linux和OS X。

3、Hive

Apache Hive是面向Hadoop生態(tài)系統的數據倉庫。它讓用戶可以使用HiveQL查詢和管理大數據，這是一種類似SQL的語言。

4、Spark

作為MapReduce之外的一種選擇，Spark是一種數據處理引擎。它聲稱，用在內存中時，其速度比MapReduce最多快100倍；用在磁盤上時，其速度比MapReduce最多快10倍。它可以與Hadoop和Apache Mesos一起使用，也可以獨立使用。支持的操作系統：Windows、Linux和OS X。

5、Redis

Redis現在由Pivotal贊助，這是一種鍵值緩存和存儲系統。提供收費支持。要注意：雖然該項目并不正式支持Windows，不過微軟在GitHub上有一個Windows派生版。支持的操作系統：Linux。

6、SpagoBI

Spago被市場分析師們稱為“開源領袖”，它提供商業(yè)智能、中間件和質量保證軟件，另外還提供Java EE應用程序開發(fā)框架。該軟件百分之分免費、開源，不過也提供收費的支持、咨詢、培訓及其他服務。

7、Lucene

基于Java的Lucene可以非常迅速地執(zhí)行全文搜索。據官方網站聲稱，它在現代硬件上每小時能夠檢索超過150GB的數據，它含有強大而高效的搜索算法。開發(fā)工作得到了Apache軟件基金會的贊助。

8、HDP

HDP是Apache Hadoop分發(fā)版。Hortonworks Data Platform(HDP)用于創(chuàng)建安全的企業(yè)數據湖，為企業(yè)提供實現快速、實時商業(yè)洞察力所需的分析信息。HDP是一個開源大數據的生態(tài)系統。

9、CDH

CDH是Apache Hadoop分發(fā)版。CDH除沒有HDP那樣開放開源外，其它都很類似。CDH文檔都組織、整理的不錯，可作為了解、學習大數據、Apache Hadoop的一個重要資源。

10、HPCC

在Apache Hadoop & Spark統治的大數據市場，HPCC顯得彌足珍貴，值得更多關注。HPCC 包括以下核心組件：Thor (the Data Refinery Cluster)；Roxie (Rapid Online XML Inquiry Engine, the Query Cluster)；ECL (Enterprise Control Language)ECL IDE；ESP (Enterprise Services Platform)。HPCC在安全、身份和風險管理有眾多成功案例。

以上就是大數據領域好用的開源軟件有哪些，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業(yè)資訊頻道。