創(chuàng)建HDFS的FileSystem對象的小心得

發(fā)布時間：2020-07-06 04:29:54 來源：網(wǎng)絡閱讀：2561 作者：alexanda2000 欄目：大數(shù)據(jù)

FileSystem fs = FiileSystem.get(new URI("hdfs://hadoop1:9000"),new Configuration() );

以這種方式可以創(chuàng)建fs對象，但缺點時，使用了空白的Configuration對象，實際上只授予了fs.default.name這個屬性，當訪問的HDFS使用了HA（需要多個參數(shù)配合，同時指定），或者需要指定其它設置的時候，就會有問題

Configuration conf = new Configuration();

conf.addResource(new Path("conf/core-site.xml"));

conf.addResource(new Path("conf/hdfs-site.xml"));

FileSystem fs = FiileSystem.get(conf);

以這種方式創(chuàng)建出來的FS具有更大靈活性，以及更加方便。因為它直接讀取了xml中的設置，如果有必要，也可以調(diào)用conf.set方法了設置單個屬性。

另外，addResource有幾種形式，一種形式是：addResource(String fileName)，傳入?yún)?shù)是文件名。這種形式強烈依賴于CLASS_PATH，程序只會在CLASS_PATH中尋找文件名，如果在文件名中寫入路徑是無效的。

addResource的另一種形式是addResource(Path file)，這種方式不依賴于CLASS_PATH，可以在new Path的時候指定路徑，不管是在程序開發(fā)中的調(diào)試，還是部署時參數(shù)文件相對固定的情況都會更有用

向AI問一下細節(jié)

猜你喜歡