如何解決Hadoop文件系統(tǒng)多次關(guān)閉的問題

小編給大家分享一下如何解決Hadoop文件系統(tǒng)多次關(guān)閉的問題，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

今天我犯了一個BUG。在我讀寫文件的時候，Hadoop拋異常說文件系統(tǒng)已經(jīng)關(guān)閉。

2013-05-20 17:39:00,153 ERROR com.sunchangming.searchlog.CopyAppLogs: err on 2013051918_api_access_65.gz 
java.io.IOException: Filesystem closed 
at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:319) 
at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:1026) 
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:524) 
at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:768) 
at com.sunchangming.searchlog.CopyAppLogs.copyFile(CopyAppLogs.java:51) 
at com.sunchangming.searchlog.CopyAppLogs.access$000(CopyAppLogs.java:18) 
at com.sunchangming.searchlog.CopyAppLogs$1.run(CopyAppLogs.java:194) 
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) 
at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:334) 
at java.util.concurrent.FutureTask.run(FutureTask.java:166) 
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
at java.lang.Thread.run(Thread.java:722)

然后我就查，為什么呢。我剛剛用final FileSystem dfs = FileSystem.get(getConf()); 得到它啊。

后來發(fā)現(xiàn)，我是一個多線程的程序。FileSystem.get(getConf())返回的可能是一個cache中的結(jié)果，它并不是每次都創(chuàng)建一個新的實例。這就意味著，如果每個線程都自己去get一個文件系統(tǒng)，然后使用，然后關(guān)閉，就會有問題。因為你們關(guān)閉的可能是同一個對象。而別人還在用它！

所以***是在main函數(shù)中就創(chuàng)建好filesystem對象然后在不同函數(shù)之間來回傳遞吧。在main函數(shù)用用try…finally關(guān)閉它。

多線程程序中，如果你確保在你的get和close之間不會有別人調(diào)用get，也沒問題。

以上是“如何解決Hadoop文件系統(tǒng)多次關(guān)閉的問題”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注億速云行業(yè)資訊頻道！