NameNode有什么用

小編給大家分享一下NameNode有什么用，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

一 NameNode的作用

     NameNode是文件系統(tǒng)的大腦，管理文件的命名空間以及對(duì)集群中文件的訪問，存儲(chǔ)著元數(shù)據(jù)。保存的最重要的兩個(gè)映射：文件名&數(shù)據(jù)塊(保存在磁盤上，持久化的)  ，數(shù)據(jù)塊&DateNode列表(NameNode不保存，是通過DataNode傳遞的)。

    NameNode 與客戶端，DataNode,NameNode之間都可以通信，分別通過實(shí)現(xiàn)ClientProtocol,DataNodeProtocol和NameNodeProtocol接口。

二 文件讀寫過程分析

   1 文件讀取過程

       首先客戶端使用FileSystem.open()函數(shù)打開文件，DistributedFileSystem使用RPC與NameNode通信，得到文件的數(shù)據(jù)塊信息，對(duì)于每一個(gè)數(shù)據(jù)塊，元數(shù)據(jù)返回的是保存該數(shù)據(jù)塊的數(shù)據(jù)節(jié)點(diǎn)的地址。

        然后DistributedFileSystem 返回FSDataInputStream 給客戶端用來讀取數(shù)據(jù)，客戶端調(diào)用Stream的read()方法開始讀取數(shù)據(jù)。

        DFSInputSteam連接保存此文件第一個(gè)數(shù)據(jù)塊的最近的數(shù)據(jù)節(jié)點(diǎn)，data從數(shù)據(jù)節(jié)點(diǎn)讀到客戶端，當(dāng)數(shù)據(jù)塊讀取完畢，DFSInputStream關(guān)閉與此數(shù)據(jù)節(jié)點(diǎn)的連接，連接下一個(gè)數(shù)據(jù)塊的最近的數(shù)據(jù)節(jié)點(diǎn)。當(dāng)所有節(jié)點(diǎn)讀取完畢，調(diào)用FSDataInputSteam的close函數(shù)關(guān)閉。

      在讀取過程中，如果客戶端在與數(shù)據(jù)節(jié)點(diǎn)的通信中，出現(xiàn)錯(cuò)誤，則直接讀取下個(gè)節(jié)點(diǎn)，并將此節(jié)點(diǎn)記錄下來。

   2 文件寫入過程

      首先客戶端調(diào)用create()方法創(chuàng)建文件，DistributedFileSystem調(diào)用RPC與NameNode通信，傳達(dá)客戶端要新建一個(gè)文件，元數(shù)據(jù)節(jié)點(diǎn)檢查命名空間，確定文件原來不存在，并且客戶端有創(chuàng)建文件的權(quán)限，然后在創(chuàng)建文件。返回DFSOutputStream,使得客戶端寫入數(shù)據(jù)。

      DFSOutputStream 將數(shù)據(jù)分成塊，寫入data queue,因?yàn)閿?shù)據(jù)的寫入是流式的，data queue 由Data Stream 讀取，并通知其他的數(shù)據(jù)塊(假設(shè)默認(rèn)復(fù)制3塊)，分配的數(shù)據(jù)節(jié)點(diǎn)放在一個(gè)pipeline里。

     Data Streamer將數(shù)據(jù)塊寫入pipeline中的第一個(gè)數(shù)據(jù)節(jié)點(diǎn)，第一個(gè)數(shù)據(jù)節(jié)點(diǎn)又將數(shù)據(jù)塊寫入第二個(gè)數(shù)據(jù)節(jié)點(diǎn)，第二個(gè)數(shù)據(jù)節(jié)點(diǎn)將數(shù)據(jù)寫入第三個(gè)數(shù)據(jù)節(jié)點(diǎn)。DFSOutput Stream為發(fā)出去的數(shù)據(jù)塊保存了ack queue,等待pipeline中的數(shù)據(jù)節(jié)點(diǎn)告知數(shù)據(jù)寫入成功。如果數(shù)據(jù)節(jié)點(diǎn)在寫入過程中失敗，關(guān)閉pipeline，將ack queue 中的數(shù)據(jù)塊放入data queue 的開始。失敗的數(shù)據(jù)節(jié)點(diǎn)從pipeline中移除，另外的數(shù)據(jù)塊則寫入pipeline中另外的兩個(gè)數(shù)據(jù)節(jié)點(diǎn)。元數(shù)據(jù)則被通知，復(fù)制塊數(shù)目不足，將會(huì)創(chuàng)建第三份備份。

   當(dāng)客戶端結(jié)束寫入數(shù)據(jù)，則調(diào)用stream的close()函數(shù)

三   java API 對(duì)文件的基本操作

1 FileSystem類(開啟文件系統(tǒng))

Configuration conf=new Configuration();//獲取配置信息
FileSystem fs=FileSystem.get(URI.create(uri),conf);//得到地址
InputStream input=null;
input=fs.open(new Path(uri));
IOUtils.copyBytes(input,System.out,4096,false);//讀取文件，打印出來
IOUtils.closeStream(input);

2 FileStatus類(查看文件狀態(tài))

//查看HDFS中文件或者目錄的元信息。
FileStatus fstus=fs.getFileStatus(new Path(uri));
fstus.getPath();//得到文件路徑
fstus.getLen(); //得到文件長度
fstus.ModificationTime()//得到最新修改時(shí)間
fstus.getReplication()//得到文件備份樹
fstus.getOwner()//得到文件擁有者

3 BlockLocation(查看數(shù)據(jù)塊的位置)

//查找某個(gè)文件Block在HDFS集群的位置。
FileStatus fstus=fs.getFileStatus(new Path(uri));
BlockLocation []block=fs.getFileBlockLocations(fstus,0,fstus.getLen));

4 查看文件是否存在

//列出HDFS下的所有文件。檢查是否存在，使用exist()方法。
Path []paths=new Path[args.length];
FileStatus fstus=fs.listStatus(paths);
Path []listedPaths=FileUtil.stat2Paths(fstus);
for(Path p:listedPaths){
       System.out.println(p);
}

以上是“NameNode有什么用”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！