Hadoop RPC-Client源代碼分析

這篇文章主要介紹“Hadoop RPC-Client源代碼分析”，在日常操作中，相信很多人在Hadoop RPC-Client源代碼分析問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Hadoop RPC-Client源代碼分析”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

既然是RPC，自然就有客戶端和服務(wù)器，當(dāng)然，org.apache.hadoop.rpc 也就有了類Client 和類Server。在這里我們來仔細(xì)考
察org.apache.hadoop.rpc.Client。下面的圖包含了org.apache.hadoop.rpc.Client 中的關(guān)鍵類和關(guān)鍵方法。
由于Client 可能和多個(gè)Server 通信，典型的一次HDFS 讀，需要和NameNode 打交道，也需要和某個(gè)/某些DataNode 通信。這
就意味著某一個(gè)Client 需要維護(hù)多個(gè)連接。同時(shí)，為了減少不必要的連接，現(xiàn)在Client 的做法是拿ConnectionId（圖中最右
側(cè)）來做為Connection 的ID。ConnectionId 包括一個(gè)InetSocketAddress（IP 地址+端口號(hào)或主機(jī)名+端口號(hào)）對(duì)象和一個(gè)用
戶信息對(duì)象。這就是說，同一個(gè)用戶到同一個(gè)InetSocketAddress 的通信將共享同一個(gè)連接。
 

連接被封裝在類Client.Connection 中，所有的RPC 調(diào)用，都是通過Connection，進(jìn)行通信。一個(gè)RPC 調(diào)用，自然有輸入?yún)?shù)，
輸出參數(shù)和可能的異常，同時(shí)，為了區(qū)分在同一個(gè)Connection 上的不同調(diào)用，每個(gè)調(diào)用都有唯一的id。調(diào)用是否結(jié)束也需要
一個(gè)標(biāo)記，所有的這些都體現(xiàn)在對(duì)象Client.Call 中。Connection 對(duì)象通過一個(gè)Hash 表，維護(hù)在這個(gè)連接上的所有Call：
Java 代碼
1. private Hashtable<Integer, Call> calls = new Hashtable<Integer, Call>();
一個(gè)RPC 調(diào)用通過addCall，把請(qǐng)求加到Connection 里。為了能夠在這個(gè)框架上傳輸Java 的基本類型，String 和Writable 接
口的實(shí)現(xiàn)類，以及元素為以上類型的數(shù)組，我們一般把Call 需要的參數(shù)打包成為ObjectWritable 對(duì)象。
Client.Connection 會(huì)通過socket 連接服務(wù)器，連接成功后回校驗(yàn)客戶端/服務(wù)器的版本號(hào)（Client.ConnectionwriteHeader()方
法），校驗(yàn)成功后就可以通過Writable 對(duì)象來進(jìn)行請(qǐng)求的發(fā)送/應(yīng)答了。注意，每個(gè)Client.Connection 會(huì)起一個(gè)線程，不斷
去讀取socket，并將收到的結(jié)果解包，找出對(duì)應(yīng)的Call，設(shè)置Call 并通知結(jié)果已經(jīng)獲取。
Call 使用Obejct 的wait 和notify，把RPC 上的異步消息交互轉(zhuǎn)成同步調(diào)用。
還有一點(diǎn)需要注意，一個(gè)Client 會(huì)有多個(gè)Client.Connection，這是一個(gè)很自然的結(jié)果。

到此，關(guān)于“Hadoop RPC-Client源代碼分析”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！