怎么從Hadoop URL中讀取數(shù)據(jù)

本篇內(nèi)容介紹了“怎么從Hadoop URL中讀取數(shù)據(jù)”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

要從Hadoop文件系統(tǒng)中讀取文件，一個(gè)最簡單的方法是使用java.net.URL對象來打開一個(gè)數(shù)據(jù)流，從而從中讀取數(shù)據(jù)。一般的格式如下：
1.    InputStream in = null;  
2. try {  
3.     in = new URL("hdfs://host/path").openStream();  
4.     // process in  
5. } finally {  
6.     IOUtils.closeStream(in);  
7. } 
這里還需要一點(diǎn)工作來讓Java識別Hadoop文件系統(tǒng)的URL 方案，就是通過一個(gè)FsUrlStreamHandlerFactory實(shí)例來調(diào)用在URL中的setURLStreamHandler-Factory方法。這種方法在一個(gè)Java虛擬機(jī)中只能被調(diào)用一次，因此一般都在一個(gè)靜態(tài)塊中執(zhí)行。這個(gè)限制意味著如果程序的其他部件(可能是不在你控制中的第三方部件)設(shè)置一個(gè)URLStreamHandlerFactory，我們便無法再從Hadoop中讀取數(shù)據(jù)。下一節(jié)將討論另一種方法。
例3-1展示了以標(biāo)準(zhǔn)輸出顯示Hadoop文件系統(tǒng)的文件的程序，它類似于Unix的cat命令。
例3-1：用URLStreamHandler以標(biāo)準(zhǔn)輸出格式顯示Hadoop文件系統(tǒng)的文件
1. public class URLCat {  
2.  
3.  static {  
4.    URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());  
5.  }  
6.    
7.  public static void main(String[] args) throws Exception {  
8.    InputStream in = null;  
9.    try {  
10.      in = new URL(args[0]).openStream();  
11.      IOUtils.copyBytes(in, System.out, 4096, false);  
12.    } finally {  
13.      IOUtils.closeStream(in);  
14.    }  
15.  }  
16. } 
我們使用Hadoop中簡潔的IOUtils類在finally子句中關(guān)閉數(shù)據(jù)流，同時(shí)復(fù)制輸入流和輸出流之間的字節(jié)(本例中是System.out)。copyBytes方法的最后兩個(gè)參數(shù)，前者是要復(fù)制的緩沖的大小，后者表示復(fù)制結(jié)束后是否關(guān)閉數(shù)據(jù)流。這里是將輸入流關(guān)掉了，而System.out不需要關(guān)閉。

“怎么從Hadoop URL中讀取數(shù)據(jù)”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！