使用HBase自帶的import工具導(dǎo)入數(shù)據(jù)遇到的兩個(gè)問(wèn)題

因?yàn)殚_(kāi)發(fā)環(huán)境需要遷移，將原來(lái)HBase中的表使用 org.apache.hadoop.hbase.mapreduce.Export 工具序列化到hdfs后下載出來(lái)，在新的開(kāi)發(fā)環(huán)境中導(dǎo)入。導(dǎo)入時(shí)遇到了兩個(gè)問(wèn)題。

問(wèn)題一：導(dǎo)入失敗提示User hbase cannot submit applications to queue root.hbase

解決方法：

登錄到y(tǒng)arn集群管理節(jié)點(diǎn)Resource Manager機(jī)器上/etc/hadoop 路徑 ，修改fair-scheduler.xml 

vi /etc/hadoop/fair-scheduler.xml，新增以下內(nèi)容（所有的Resource Manager節(jié)點(diǎn)都需要修改）,保存退出。不需要重啟集群和組件

<queue name='hbase'>
  <weight>1</weight>
  <schedulingPolicy>drf</schedulingPolicy>
  <aclSubmitApps>hdfs,hbase,hive</aclSubmitApps>
  <aclAdministerApps>hbase</aclAdministerApps>
  <minResources>100 mb,10 vcores</minResources>
  <maxResources>10240 mb,50 vcores</maxResources>
  <maxRunningApps>50</maxRunningApps> 
</queue>

問(wèn)題二：導(dǎo)入失敗，終端沒(méi)有按正常進(jìn)度走，也沒(méi)有相關(guān)錯(cuò)誤提示。

查看yarn 中的job日志發(fā)現(xiàn)如下信息

解決方法：

去系統(tǒng)下查看hbase的id為uid=482(hbase)而yarn的配置中有一項(xiàng)為“min.user.id”最小用戶id這里配置了1000。修改為300后問(wèn)題排除。

這個(gè)配置的作用是“允許的最小 Linux 用戶 ID。用于阻止其他超級(jí)用戶。”