hadoop錯(cuò)誤有哪些

這篇文章給大家分享的是有關(guān)hadoop錯(cuò)誤有哪些的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

 
1、在重新編譯hadoop后可能會(huì)造成版本不一致的現(xiàn)象。 
 最近幾個(gè)星期一直在修改Hadoop的計(jì)算能力調(diào)度算法，遇到了這樣那樣的問(wèn)題。 我修改的版本是hadoop-0.20.2 第一步： 將hadoop的源碼加載到eclipse中配置使用ant編譯 第二步： 根據(jù)需要修改源碼 第三步： 使用ant編譯修改內(nèi)容，這里要提醒的就是要保證編譯平臺(tái)的JDK和運(yùn)行平臺(tái)的JDK相同 ant編譯的方法是：首先到$HadoopHome/src/contrib/capacity-scheduler目錄下 直接輸入ant就可以編譯，編譯成功后會(huì)提示生產(chǎn)的JAR文件在$HadoopHome/build/contrib/capacity-scheduler 中。 重要的是如果修改了capacity-scheduler外的其他內(nèi)容（主要在MapReduce中）也需要將修改后的整個(gè)Hadoop編譯 而且要在編譯capacity-scheduler之前進(jìn)行編譯。編譯整個(gè)hadoop會(huì)在build文件夾下看到hadoop-0.20.2-dev-capacity-scheduler.jar 第四步： 將hadoop-0.20.2-dev-capacity-scheduler.jar重命名為hadoop-0.20.2-capacity-scheduler.jar 以及將hadoop-${version}-capacity-scheduler.jar重新名為hadoop-0.20.2-capacity-scheduler.jar 覆蓋集群中響應(yīng)的JAR重新啟動(dòng)集群就可以了以上是成功的步驟，但是在整個(gè)過(guò)程中總會(huì)出現(xiàn)錯(cuò)誤，下面具體分析一下我遇到的錯(cuò)誤： 我是在windows 下編譯的在Ubuntu中搭建的集群，開(kāi)始的時(shí)候兩個(gè)平臺(tái)的JDK不一致， 導(dǎo)致了：java.lang.UnsupportedClassVersionError 的錯(cuò)誤 所以要保證JDK一致 有時(shí)候會(huì)遇到org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible build versions: namenode BV = ; datanode BV = 911707 這個(gè)錯(cuò)誤的原因是因?yàn)閐atanode的版本和NameNode的版本不一致。我將生成的hadoop-0.20.2-dev-capacity-scheduler.jar重命名后覆蓋到DataNode的$HadoopHome 中
2、獲取年最大溫度值
  
 public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ 
     public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
      String line = value.toString();
      String year = line.substring(15, 19);
      int tmp;
      if(line.charAt(25)=='+'){
       tmp = Integer.parseInt(line.substring(26,30));
       System.out.println(tmp);
      }else{
       tmp = Integer.parseInt(line.substring(25,30));
       System.out.println(line.substring(25, 30));
      }
      context.write(new Text(year), new IntWritable(tmp));
     }
   }
   
   public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
    
     public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
      int maxValue = 0;
      while(values.iterator().hasNext()){
       maxValue = Math.max(maxValue, values.iterator().next().get());       
      } 
       context.write(key, new IntWritable(maxValue));
     }
   } 
異常： java.lang.StringIndexOutOfBoundsException: String index out of range: 19
 at java.lang.String.substring(String.java:1907)
 at com.zzg.test.GetMaxTemp$TokenizerMapper.map(GetMaxTemp.java:21)
 at com.zzg.test.GetMaxTemp$TokenizerMapper.map(GetMaxTemp.java:1)
 at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
 at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)
 at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
 at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:212)
這個(gè)異常原因是因?yàn)閿?shù)據(jù)文件中有空行。

感謝各位的閱讀！關(guān)于“hadoop錯(cuò)誤有哪些”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！