Hadoop怎么以流形式上傳本地文件到分布式文件系統(tǒng)中

這篇文章主要介紹“Hadoop怎么以流形式上傳本地文件到分布式文件系統(tǒng)中”，在日常操作中，相信很多人在Hadoop怎么以流形式上傳本地文件到分布式文件系統(tǒng)中問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Hadoop怎么以流形式上傳本地文件到分布式文件系統(tǒng)中”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

說明如題:

package org.apache.hadoop.examples.yao;

import java.io.File;
import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocalFileSystem;
import org.apache.hadoop.fs.Path;

public class ReadLocalFile2Hadoop {

	public static void main(String[] args)  throws IOException{
		readLocalFile2Hadoop("/home/yaokj/temp","test");
	}
	
	/**
	 * 以流形式上傳本地文件到分布式文件系統(tǒng)中
	 * @param inputDir 本地文件夾
	 * @param hdfsDir　　　Hadoop 上的文件夾
	 * @throws IOException
	 */
	public static void readLocalFile2Hadoop(String inputDir,String hdfsDir) throws IOException{
		Configuration cfg = new Configuration();
		cfg.addResource(new Path("/home/yaokj/hadoop-0.20.203.0/conf/hdfs-site.xml"));//配置文件上的位置
		cfg.addResource(new Path("/home/yaokj/hadoop-0.20.203.0/conf/core-site.xml"));
		FileSystem fs = FileSystem.get(cfg);
		LocalFileSystem localFS = FileSystem.getLocal(cfg);
		
		fs.mkdirs(new Path(hdfsDir));
		
		FileStatus[] inputFiles =  localFS.listStatus(new Path(inputDir));
		
		FSDataOutputStream out ;
		FSDataInputStream in;
		for (int i = 0 ; i < inputFiles.length ; i++) {
			System.out.println(inputFiles[i].getPath().getName());
			
			in = localFS.open(inputFiles[i].getPath());
			out = fs.create(new Path(hdfsDir+inputFiles[i].getPath().getName()));
			
			byte[]  buffer = new byte[256];
			
			int byteRead = 0 ;
			while ((byteRead = in.read(buffer)) > 0) {
				out.write(buffer, 0, byteRead);
			}
			
			out.close();
			in.close();
			
			File file = new File(inputFiles[i].getPath().toString());
			//System.out.println(inputFiles[i].getPath().toString());
			System.out.println(file.delete());
		}
		
	}
	
}

到此，關(guān)于“Hadoop怎么以流形式上傳本地文件到分布式文件系統(tǒng)中”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！