HDFS有哪些顯著的特點

小編給大家分享一下HDFS有哪些顯著的特點，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

分布式文件系統(tǒng)（Hadoop Distributed File System）是Hadoop核心子項目，為Hadoop提供了一個綜合性的文件系統(tǒng)抽象，并且只會實現(xiàn)了多類文件系統(tǒng)的接口。HDFS基于流式數(shù)據(jù)訪問、存儲和處理超大文件。

在HDFS中引入了存放元數(shù)據(jù)信息的服務器：NameNode和實際存放數(shù)據(jù)的服務器：DataNode。

HDFS有著顯著的特點

• 存儲數(shù)據(jù)較大

運行在HDFS的應用程序的數(shù)據(jù)處理有較大的需求，從存儲GB到存儲TB級別的超大文件，在目前的實際應用中，HDFS以及被利用來管理存儲PB級別的數(shù)據(jù)

• 支持多硬件平臺

Hadoop可以運行在廉價、異構的商用硬件集群上，并且可以在HDFS設計時充分考慮數(shù)據(jù)的可靠性、安全性、高可用性

• 支持流式數(shù)據(jù)

HDFS有一個設計思路是“寫入一次，多次讀取”、數(shù)據(jù)源生成數(shù)據(jù)集后，會被復制分發(fā)到不同的存儲節(jié)點，已用于響應數(shù)據(jù)分析任務的請求。HDFS放寬了可移植操作系統(tǒng)接口的要求，可以以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)

• 數(shù)據(jù)的一致性高

因為采用“寫入一次，多次讀取”的策略，所以支持追加不支持多次修改，降低了數(shù)據(jù)不一致性的造成可能

• 有效預防硬件失效

HDFS的設計能夠有效預防硬件異常并且具有自動恢復數(shù)據(jù)的能力

• 高容錯性

HDFS能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務重新發(fā)配，具有高容錯性

所以，HDFS經常被使用于各個場景下，例如：

大數(shù)據(jù)存儲：分布式存儲

日志處理：擅長日志分析

ETL：數(shù)據(jù)可抽取到MYSQL，oracle，Lucene

機器學習

搜索引擎

但是，相對于的，HDFS也有不適應的地方

不適合低延遲的數(shù)據(jù)訪問

HDFS不適合處理那些數(shù)據(jù)訪問要求低延遲的請求，因為HDFS主要是為了高數(shù)據(jù)的吞吐設計的，會產生稿時間延遲的代價

無法高效的存儲大量小文件

HDFS采用主從架構來存儲數(shù)據(jù)，需要用到NameNode來管理文件系統(tǒng)的元數(shù)據(jù)，以響應請求。為了快速響應請求，元數(shù)據(jù)存在主節(jié)點的內存中，如果小文件數(shù)量多達，容易造成內存不足，導致系統(tǒng)錯誤

以上是“HDFS有哪些顯著的特點”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業(yè)資訊頻道！