HDFS怎么操作

這篇文章主要介紹了HDFS怎么操作，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

①必須要知道的

盜來的圖：HDFS架構(gòu)體系

1、Client

在咱們這就是Linux命令或者Java代碼。

2、NameNode

整個HDFS集群只有一個NameNode，它存儲整個集群文件分別的元數(shù)據(jù)信息。這些信息以fsimage和editlog兩個文件存儲在本地磁 盤，Client通過這些元數(shù)據(jù)信息可以找到相應(yīng)的文件。此外，NameNode還負責監(jiān)控DataNode的健康情況，一旦發(fā)現(xiàn)DataNode異常， 就將其踢出，并拷貝其上數(shù)據(jù)至其它DataNode。雖然Client是與NameNode通信，但是最終操作文件還是連接Datenode

3、Secondary NameNode

Secondary NameNode負責定期合并NameNode的fsimage和editlog。這里特別注意，它不是NameNode的熱備，所以NameNode依 然是Single Point of Failure。它存在的主要目的是為了分擔一部分NameNode的工作（特別是消耗內(nèi)存的工作，因為內(nèi)存資源對NameNode來說非常珍貴）。

4、DataNode

DataNode負責數(shù)據(jù)的實際存儲。當一個文件上傳至HDFS集群時，它以Block為基本單位分布在各個DataNode中，同時，為了保證數(shù)據(jù)的可靠性，每個Block會同時寫入多個DataNode中（默認為3，咱們搞成了2）。DataNode通過心跳向node匯報自己的狀態(tài)，同時拿到namedode指派下來的command執(zhí)行。

5、Block

默認64M一塊，一塊存三分，童叟無欺。

②Linux操作HDFS

        HDFS 命令基本就是 Linux命令前面加上 "Hadoop fs -"，官方文檔入口。

        下面是具有代表性的命令：

            hadoop dfsadmin -safemode leave  //退出安全模式，不然無法put

            hadoop fs -mkdir /user/kitten     //建文件夾，創(chuàng)建HDFS的用戶

                 hadoop fs -chown kitten  /user/kitten   //更改文件夾的所有權(quán)

            hadoop fs -ls /user   //羅列文件

            hadoop fs -lsr /user //遞歸羅列文件

            hadoop fs -put test.txt  /user/kitten  //從Linux復制到HDFS

            hadoop fs -get /user/kitten   /test.txt  //從HDFS取到Linux

            hadoop fs -cat /user/kitten/test.txt   //建文件

            hadoop fs -tail /user/kitten/test.txt  //查看最后1000字節(jié)

            hadoop fs -rm /user/kitten/test.txt //刪除

            hadoop fs -help ls   //國際慣例，查看ls命令的幫助文檔

感謝你能夠認真閱讀完這篇文章，希望小編分享的“HDFS怎么操作”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關(guān)注億速云行業(yè)資訊頻道，更多相關(guān)知識等著你來學習!