hadoop2.x HA下DFSClient初始化流程是什么

這篇文章主要講解了“hadoop2.x  HA下DFSClient初始化流程是什么”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“hadoop2.x  HA下DFSClient初始化流程是什么”吧！

Hadoop2.X NameNode加入了autofiledover機制，對于采用了HA的namenode，在HDFS Client訪問的時候，是如何自動識別active的NN，又是在active NN 宕機的時候，自動切換到新的NN呢。

1.DFSClient的初始化：

主要涉及的類有以下幾個:NameNodeProxies、RetryProxy、RetryInvocationHandler、ConfiguredFailoverProxyProvider。

具體代碼實現(xiàn)相對比較簡單，只是邏輯稍微復(fù)雜。

2.在Active NN宕機的時候，如何做到自動切換。

可以看到對于連接異常的處理實現(xiàn)代碼：

if (action.action == RetryAction.RetryDecision.FAILOVER_AND_RETRY) {//繼續(xù)選擇可用的NN節(jié)點
            // Make sure that concurrent failed method invocations only cause a
            // single actual fail over.
            synchronized (proxyProvider) {
              if (invocationAttemptFailoverCount == proxyProviderFailoverCount) {
                proxyProvider.performFailover(currentProxy.proxy); //該方法會重新獲取下一個可用的NN
                proxyProviderFailoverCount++;
              } else {
                LOG.warn("A failover has occurred since the start of this method"
                    + " invocation attempt.");
              }
              currentProxy = proxyProvider.getProxy(); //返回當前可用的NN
            }
            invocationFailoverCount++;
          }

performFailover的實現(xiàn)：

@Override
  public synchronized void performFailover(T currentProxy) {
    currentProxyIndex = (currentProxyIndex + 1) % proxies.size();
  }

其實對于獲取可用的NN，就是將所有的NN節(jié)點方法到List中，然后從下標0開始獲取NN，如果有異常Index++，繼續(xù)獲取，直到可用。

感謝各位的閱讀，以上就是“hadoop2.x  HA下DFSClient初始化流程是什么”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對hadoop2.x  HA下DFSClient初始化流程是什么這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！