mapreduce怎么獲得文件的路徑

這篇文章主要介紹mapreduce怎么獲得文件的路徑，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

通常的做法是通過inputSplit來獲得，如下：

 InputSplit split = context.getInputSplit();

但是，如果使用MultipleInputs的話，則需要進行轉(zhuǎn)化，將TaggedInputSplit轉(zhuǎn)成InputSplit，如下：

        InputSplit split = context.getInputSplit();
        Class<? extends InputSplit> splitClass = split.getClass();

        FileSplit fileSplit = null;
        if (splitClass.equals(FileSplit.class)) {
            fileSplit = (FileSplit) split;
        } else if (splitClass.getName().equals("org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit")) {
            try {
                Method getInputSplitMethod = splitClass.getDeclaredMethod("getInputSplit");
                getInputSplitMethod.setAccessible(true);
                fileSplit = (FileSplit) getInputSplitMethod.invoke(split);
            } catch (Exception e) {
                throw new IOException(e);
            }
        }

但是，進一步說，如果使用了CombineTextInputFormat的話，那么上述的代碼仍然會報錯，org.apache.hadoop.mapreduce.lib.input.CombineFileSplit cannot be cast to org.apache.hadoop.mapreduce.lib.input.FileSplit。并且CombineFileSplit內(nèi)部也沒有提供返回正在處理的InputSplit，雖然本身是多個InputSplit的組合。

有一個簡單的辦法，通過String filename = context.getConfiguration().get("map.input.file");便可以直接獲得文件的全部路徑。

以上是“mapreduce怎么獲得文件的路徑”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關知識，歡迎關注億速云行業(yè)資訊頻道！