hadoop3 Java client客戶端認(rèn)證的方法是什么

這篇文章主要介紹“hadoop3 Java client客戶端認(rèn)證的方法是什么”，在日常操作中，相信很多人在hadoop3 Java client客戶端認(rèn)證的方法是什么問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”hadoop3 Java client客戶端認(rèn)證的方法是什么”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

hadoop集群升級(jí)hadoop3，并需要Kerberos認(rèn)證，hadoop3代碼包做了合并，引用jar包如下：

<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-hdfs</artifactId>
	<version>3.1.1</version>
</dependency>
<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-common</artifactId>
	<version>3.1.1</version>
</dependency>

<dependency>
	<groupId>org.apache.hadoop</groupId>
	<artifactId>hadoop-client</artifactId>
	<version>3.1.1</version>
</dependency>

認(rèn)證方法

Configuration config = new Configuration();
config.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
config.set("dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER");

//開始Kerberos認(rèn)證
String krb5File = "/etc/krb5.conf";
System.setProperty("java.security.krb5.conf", krb5File);
config.set("hadoop.security.authentication", "kerberos");

//添加集群默認(rèn)配置（非必須）
configuration.addResource(new Path("/etc/hadoop/conf/hdfs-site.xml"));
configuration.addResource(new Path("/etc/hadoop/conf/core-site.xml"));

UserGroupInformation.setConfiguration(config);
try {
	UserGroupInformation.loginUserFromKeytab(kerUser, keyPath);
} catch (IOException e) {
	e.printStackTrace();
}
//結(jié)束Kerberos認(rèn)證

URI uri = new URI("hdfs://集群名或namenode ip地址");
/**
* 代碼指定集群名和namenode節(jié)點(diǎn)
*conf.set("fs.defaultFS", "hdfs://yiie");
*conf.set("dfs.nameservices","yiie");
*conf.set("dfs.ha.namenodes.yiie", "nn1,nn2");
*conf.set("dfs.namenode.rpc-address.yiie.nn1", "192.168.116.116:8020");
*conf.set("dfs.namenode.rpc-address.yiie.nn2", "192.168.116.116:8020");
*conf.set("dfs.client.failover.proxy.provider.yiie","org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
*conf.setBoolean("dfs.ha.automatic-failover.enabled",true);
*
*/
FileSystem.get(uri, config);

到此，關(guān)于“hadoop3 Java client客戶端認(rèn)證的方法是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！