今天開(kāi)始采用的十大大數(shù)據(jù)技術(shù)

大數(shù)據(jù)正在爆炸式增長(zhǎng)，每天都有來(lái)自世界各地的公司涌現(xiàn)出新的項(xiàng)目。

好消息是，所有技術(shù)都是開(kāi)源的，可供您今天開(kāi)始采用。

Hadoop

穩(wěn)固，企業(yè)實(shí)力和其他一切的基礎(chǔ)。您需要YARN和HDFS以及Hadoop的基礎(chǔ)架構(gòu)作為主要數(shù)據(jù)存儲(chǔ)并運(yùn)行關(guān)鍵的大數(shù)據(jù)服務(wù)器和應(yīng)用程序

Spark

易于使用，支持所有重要的大數(shù)據(jù)語(yǔ)言（Scala，Python，Java，R），一個(gè)龐大的生態(tài)系統(tǒng)，快速增長(zhǎng)，易于微縮/批處理/ SQL支持。這是另一個(gè)明智的選擇。

在這里還是要推薦下我自己建的大數(shù)據(jù)學(xué)習(xí)交流群:529867072，群里都是學(xué)大數(shù)據(jù)開(kāi)發(fā)的，如果你正在學(xué)習(xí)大數(shù)據(jù) ，小編歡迎你加入,大家都是軟件開(kāi)發(fā)黨，不定期分享干貨（只有大數(shù)據(jù)軟件開(kāi)發(fā)相關(guān)的），包括我自己整理的一份最新的大數(shù)據(jù)進(jìn)階資料和高級(jí)開(kāi)發(fā)教程，歡迎進(jìn)階中和進(jìn)想深入大數(shù)據(jù)的小伙伴加入。

NiFi

• NSA的工具，允許從這么多來(lái)源輕松地進(jìn)行數(shù)據(jù)攝取，存儲(chǔ)和處理，只需極少的編碼和靈活的用戶界面。來(lái)自社交媒體，JMS，NoSQL，SQL，Rest / JSON Feeds，AMQP，SQS，F(xiàn)TP，F(xiàn)lume，ElasticSearch，S3，MongoDB，Splunk，Email，HBase，Hive，HDFS，Azure Event Hub，Kafka等的數(shù)十種來(lái)源。如果沒(méi)有您需要的源或接收器，那么為您編寫自己的處理器是直接的Java代碼。您工具箱中的另一個(gè)偉大的Apache項(xiàng)目。這是瑞士×××大數(shù)據(jù)工具。

Apache Hive 2.1

Apache Hive一直是Hadoop上的SQL解決方案。通過(guò)最新版本，性能和功能增強(qiáng)，Hive成為大數(shù)據(jù)SQL的解決方案。

Kafka

• 大數(shù)據(jù)系統(tǒng)之間異步分布式消息傳遞的選擇。它融入了大多數(shù)堆棧。從Spark到NiFi再到第三方工具，從Java到Scala，它是系統(tǒng)之間的一個(gè)很好的粘合劑。這需要在你的堆棧中。

Phoenix

HBase -開(kāi)源的BigTable，大量公司致力于HBase并使其規(guī)模龐大。NoSQL由HDFS支持，并與所有工具完美集成。在HBase上添加鳳凰城的建設(shè)正在使其成為NoSQL的首選。這為HBase添加了SQL，JDBC，OLTP和操作分析。

Zeppelin

• 易于集成的筆記本工具，用于處理Hive，Spark，SQL，Shell，Scala，Python以及大量其他數(shù)據(jù)探索和機(jī)器學(xué)習(xí)工具。它非常容易使用，也是探索和查詢數(shù)據(jù)的好方法。該工具正在獲得支持和功能。他們只需要提升他們的圖表和繪圖。

H2O

H2O填補(bǔ)了Spark的機(jī)器學(xué)習(xí)的空白，并且正常工作。它可以完成您所需的所有機(jī)器學(xué)習(xí)。

Apache Beam

Java中數(shù)據(jù)處理管道開(kāi)發(fā)的統(tǒng)一框架。這允許您也支持Spark和Flink。其他框架將上線，您不必學(xué)習(xí)太多框架。

Stanford CoreNLP

自然語(yǔ)言處理是巨大的，只是增長(zhǎng)更多。斯坦福大學(xué)正在繼續(xù)改進(jìn)他們的框架。

顯然，有大量的大數(shù)據(jù)項(xiàng)目，因此您最好的選擇是從基礎(chǔ)分發(fā)開(kāi)始，該分布包含并測(cè)試項(xiàng)目的各個(gè)版本，并確保它們與安全性和管理平穩(wěn)地協(xié)同工作。我建議使用Hortonworks Connected Data Platforms作為您的基礎(chǔ)。如果我們進(jìn)入前20名，我會(huì)添加更多項(xiàng)目，特別是Storm， SOLR，Apache Oozie和Apache HAWQ。下面有很多很棒的技術(shù)，在大多數(shù)情況下，你沒(méi)有看到或知道像Apache Tez（雖然你需要在運(yùn)行Hive時(shí)配置它），Apache Calcite，Apache Slider，Apache Zookeeper和 Livy。這些項(xiàng)目對(duì)于運(yùn)行大數(shù)據(jù)基礎(chǔ)架構(gòu)至關(guān)重要。