Hadoop生態(tài)新增列式存儲系統(tǒng)Kudu有什么特點

小編給大家分享一下Hadoop生態(tài)新增列式存儲系統(tǒng)Kudu有什么特點，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

Hadoop 生態(tài)系統(tǒng)發(fā)展到現在，存儲層主要由HDFS和HBase兩個系統(tǒng)把持著，一直沒有太大突破。在追求高吞吐的批處理場景下，我們選用HDFS，在追求低延 遲，有隨機讀寫需求的場景下，我們選用HBase，那么是否存在一種系統(tǒng)，能結合兩個系統(tǒng)優(yōu)點，同時支持高吞吐率和低延遲呢？有人嘗試修改HBase內核 構造這樣的系統(tǒng)，即保留HBase的數據模型，而將其底層存儲部分改為純列式存儲（目前HBase只能算是列簇式存儲引擎），但這種修改難度較大。 Kudu的出現有望解決這一難題。

Kudu是Cloudera開源的列式存儲引擎，具有以下幾個特點：

• C++語言開發(fā)

• 高效處理類OLAP負載

• 與MapReduce，Spark以及Hadoop生態(tài)系統(tǒng)中其他組件進行友好集成

• 可與Cloudera Impala集成，替代目前Impala常用的HDFS+Parquet組合

• 靈活的一致性模型

• 順序寫和隨機寫并存的場景下，仍能達到良好的性能

• 高可用，使用Raft協(xié)議保證數據高可靠存儲

• 結構化數據模型

Kudu的出現，有望解決目前Hadoop生態(tài)系統(tǒng)難以解決的一大類問題，比如：

• 流式實時計算結果的更新

• 時間序列相關應用，具體要求有：

• 
  

• 查詢海量歷史數據

• 查詢個體數據，并要求快速返回

• 預測模型中，周期性更新模型，并根據歷史數據快速做出決策

以上是“Hadoop生態(tài)新增列式存儲系統(tǒng)Kudu有什么特點”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業(yè)資訊頻道！