#
從storm到spark streaming，再到flink，流式計算得到長足發(fā)展， 依托于spark平臺的spark streaming走出了一條自己的路，其借鑒了spark批處理架構，通過批處理方
? 1、軟件環(huán)境 RHEL6 jdk-8u45hadoop-2.8.1.tar.gz sshxx.xx.xx.xx ip地址 hadoop1xx.xx.xx.xx ip地址 hadoop2xx.xx.
一提到大數據處理，相信很多人第一時間想到的是 Hadoop MapReduce。沒錯，Hadoop MapReduce 為大數據處理技術奠定了基礎。近年來，隨著 Spark 的發(fā)展，越來越多的聲音提到
目前區(qū)塊鏈行業(yè)在降溫，但大數據行業(yè)依舊火爆，很多人都對大數據充滿了興趣，但其中有大部分人都是以前沒有接觸過計算機技術的，對編程語言也不太了解，那是不是這部分零基礎的朋友就學不好大數據呢？答案當然是否定
對軟件行業(yè)的理解可以用需求、架構、工具和算法四個詞對軟件行業(yè)做一個整體的概括。需求是推動軟件行業(yè)發(fā)展的源動力，需求的變化帶來了架構、工具和算法的進步。架構這個層面上，主要涉及的是一種解決問題的思想和策
信息爆炸這個詞，想必對于大家來說，已經沒有多少新鮮感了，而信息爆炸所引發(fā)的大數據，卻日益成為了企業(yè)的寵兒，越來越多的企業(yè)也逐步認識到了大數據的重要性，但是大部分企業(yè)往往只看表面，盲目跟風，大量收集數據
數據分析過程包括：數據建模、大數據處理、告警與觸發(fā)、報告等。 從數據處理的實時性要求角度看，大數據分析可以分為批量和流式兩種數據處理方式。批量處理主要適合于實時性要求不高的分析型應用，而流式處理主要適
Hadoop3.x概述 Hadoop3.x中增強了很多特性，并且也改進了很多地方，是Hadoop2.x的升級（這不是廢話嗎）。需要注意的是，在Hadoop3.x中，不能再使用jdk1.7，而是需要升級
Avro schema作為大數據一個項目，它可以算得上精品中的上等品，讓學習或者想要學習大數據的人為之傾倒，不斷挖掘學習，那么它究竟有著怎樣的神秘面紗
