溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hadoop之HDFS分布式文件系統(tǒng)具有哪些優(yōu)點?

發(fā)布時間:2020-07-16 17:31:00 來源:網(wǎng)絡 閱讀:455 作者:mo默芯 欄目:大數(shù)據(jù)

  隨著互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模的不斷增大,對文件存儲系統(tǒng)提出了更高的要求,需要更大的容量、更好的性能以及更高安全性的文件存儲系統(tǒng),與傳統(tǒng)分布式文件系統(tǒng)一樣,HDFS分布式文件系統(tǒng)也是通過計算機網(wǎng)絡與節(jié)點相連,但也有優(yōu)于傳統(tǒng)分布式文件系統(tǒng)的優(yōu)點。

1. 支持超大文件

  HDFS分布式文件系統(tǒng)具有很大的數(shù)據(jù)集,可以存儲TBPB級別的超大數(shù)據(jù)文件,能夠提供比較高的數(shù)據(jù)傳輸帶寬與數(shù)據(jù)訪問吞吐量,相應的,HDFS開放了一些POSIX的必須接口,容許流式訪問文件系統(tǒng)的數(shù)據(jù)。

2. 高容錯性能

  HDFS面向的是成百上千的服務器集群,每臺服務器上存儲著文件系統(tǒng)的部分數(shù)據(jù),在集群的環(huán)境中,硬件故障是常見的問題,這就意味著總是有一部分硬件因各種原因而無法工作,因此,錯誤檢測和快速、自動的恢復是HDFS最核心的架構目標,因此,HDFS具有高度的容錯性。

3. 高數(shù)據(jù)吞吐量

  HDFS采用的是“一次性寫,多次讀”這種簡單的數(shù)據(jù)一致性模型,在HDFS中,一個文件一旦經(jīng)過創(chuàng)建、寫入、關閉后,一般就不需要修改了,這樣簡單的一致性模型,有利于提高吞吐量。

4. 流式數(shù)據(jù)訪問

  HDFS的數(shù)據(jù)處理規(guī)模比較大,應用一次需要訪問大量的數(shù)據(jù),同時這些應用一般都是批量處理,而不是用戶交互式處理,應用程序能以流的形式訪問數(shù)據(jù)集。

  Hadoop已經(jīng)迅速成長為首選的、適用于非結(jié)構化數(shù)據(jù)的大數(shù)據(jù)分析解決方案,HDFS分布式文件系統(tǒng)Hadoop的核心組件之一,保證了大數(shù)據(jù)的可靠存儲,與MapReduce配合使用,可以對結(jié)構化和復雜大數(shù)據(jù)進行快速、可靠分析,從而為企業(yè)做出更好的決策,促進收入增長,改善服務,降低成本提供有力支撐!


向AI問一下細節(jié)

免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權內(nèi)容。

AI