怎么實(shí)現(xiàn)hadoop中RPC通信文件上傳原理分析

怎么實(shí)現(xiàn)hadoop中RPC通信文件上傳原理分析，相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

//APP2中調(diào)用的代碼
public static final String HDFS_PATH = "hdfs://hadoop:9000/hello";
	public static final String DIR_PATH = "/d1000";
	public static final String FILE_PATH = "/d1000/f10000";

	public static void main(String[] args) throws Exception {
		FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),
				new Configuration());
		// //創(chuàng)建文件
		// fileSystem.mkdirs(new Path(DIR_PATH));
		// //上傳文件
		// FSDataOutputStream out = fileSystem.create(new Path(FILE_PATH));
		// FileInputStream in = new FileInputStream("c:/hello.txt");
		// IOUtils.copyBytes(in, out, 1024,true);
		// //下載數(shù)據(jù)
		// FSDataInputStream in1 = fileSystem.open(new Path(FILE_PATH));
		// IOUtils.copyBytes(in1, System.out, 1024,true);

		// 刪除文件夾
		deleteFile(fileSystem);
	}

	private static void deleteFile(FileSystem fileSystem) throws IOException {
		fileSystem.delete(new Path(FILE_PATH), true);
		
	}

注：RPC(remote procedure call)

  不同java進(jìn)程間的對(duì)象方法的調(diào)用。一方稱作服務(wù)端(server)，一方稱作客戶端(client)。

   server端提供對(duì)象，供客戶端調(diào)用的，被調(diào)用的對(duì)象的方法的執(zhí)行發(fā)生在server端。

  RPC是hadoop框架運(yùn)行的基礎(chǔ)。

上圖為RPC通信調(diào)用的一系列方法最終達(dá)到把文件寫(xiě)入到linux文件系統(tǒng)中的過(guò)程，但是由于hadoop中hdfs分布式文件系統(tǒng)的API封裝的特別好，讓調(diào)用者感覺(jué)不到這個(gè)復(fù)雜的過(guò)程，對(duì)用戶或者程序而言實(shí)際是通過(guò)網(wǎng)絡(luò)來(lái)訪問(wèn)文件的動(dòng)作，但對(duì)用戶看來(lái)就像訪問(wèn)本地磁盤一樣，充分體現(xiàn)了通透性....

 對(duì)于HDFS的操作在應(yīng)用中只需掌握FileSystem，而不需要關(guān)注數(shù)據(jù)是存放在DataNode的哪個(gè)塊中（因?yàn)檫@個(gè)工作時(shí)交給NameNode的）。

  注意：雖然客戶端上傳數(shù)據(jù)的時(shí)候是通過(guò)DataStreamer向NameNode申請(qǐng)block塊和blockid，但是數(shù)據(jù)的傳輸行為并不是通過(guò)NameNode轉(zhuǎn)的，而是與DataNode直接連接!

看完上述內(nèi)容，你們掌握怎么實(shí)現(xiàn)hadoop中RPC通信文件上傳原理分析的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！