hive導(dǎo)入動(dòng)態(tài)分區(qū)出現(xiàn)錯(cuò)誤could only be replicated to 0 nodes, instead of 1怎么解決

這篇文章主要介紹“hive導(dǎo)入動(dòng)態(tài)分區(qū)出現(xiàn)錯(cuò)誤could only be replicated to 0 nodes, instead of 1怎么解決”，在日常操作中，相信很多人在hive導(dǎo)入動(dòng)態(tài)分區(qū)出現(xiàn)錯(cuò)誤could only be replicated to 0 nodes, instead of 1怎么解決問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”hive導(dǎo)入動(dòng)態(tài)分區(qū)出現(xiàn)錯(cuò)誤could only be replicated to 0 nodes, instead of 1怎么解決”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

insert overwrite table default.`table` partition(part)
select t.*,t.detailid AS part from default.`table` t limit 10 ;

這個(gè)表有4000多萬(wàn)數(shù)據(jù)

異常：

Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hadoop/dynamic/.hive-staging_hive_2021-04-28_10-54-00_523_4426014102702927767-1/_task_tmp.-ext-10000/part=96307/_tmp.000012_3 could only be replicated to 0 nodes instead of minReplication (=1).  There are 5 datanode(s) running and no node(s) are excluded in this operation.
	at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1731)
	at org.apache.hadoop.hdfs.server.namenode.FSDirWriteFileOp.chooseTargetForNewBlock(FSDirWriteFileOp.java:265)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2567)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:829)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:510)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:447)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:989)
	at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:850)
	at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:793)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1844)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2489)

發(fā)現(xiàn)磁盤好像快滿了。

改成導(dǎo)入1000萬(wàn)條成功

http://wenda.chinahadoop.cn/question/3964

https://blog.csdn.net/zhongxiayimeng/article/details/73188511?utm_medium=distribute.pc_relevant_download.none-task-blog-baidujs-1.nonecase&depth_1-utm_source=distribute.pc_relevant_download.none-task-blog-baidujs-1.nonecase

到此，關(guān)于“hive導(dǎo)入動(dòng)態(tài)分區(qū)出現(xiàn)錯(cuò)誤could only be replicated to 0 nodes, instead of 1怎么解決”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！