大數(shù)據(jù)中怎樣解決各種序列化導(dǎo)致的錯(cuò)誤

本篇文章為大家展示了大數(shù)據(jù)中怎樣解決各種序列化導(dǎo)致的錯(cuò)誤，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。

你會(huì)看到什么樣的序列化導(dǎo)致的報(bào)錯(cuò)？

 用client模式去提交spark作業(yè)，觀察本地打印出來(lái)的log。如果出現(xiàn)了類(lèi)似于Serializable、Serialize等等字眼，報(bào)錯(cuò)的log，那么恭喜大家，就碰到了序列化問(wèn)題導(dǎo)致的報(bào)錯(cuò)。雖然是報(bào)錯(cuò)，但是序列化報(bào)錯(cuò)，應(yīng)該是屬于比較簡(jiǎn)單的了，很好處理。

序列化報(bào)錯(cuò)要注意的點(diǎn)：

• 你的算子函數(shù)里面，如果使用到了外部的自定義類(lèi)型的變量，那么此時(shí)，就要求你的自定義類(lèi)型，必須是可序列化的。

• final Teacher teacher = new Teacher("SET");
  
  studentsRDD.foreach(new VoidFunction() {
   
      public void call(Row row) throws Exception {
          String teacherName = teacher.getName();
      ....  
      }
  
  });
  
  public class Teacher implements Serializable {
    
  }

  
  

• 如果要將自定義的類(lèi)型，作為RDD的元素類(lèi)型，那么自定義的類(lèi)型也必須是可以序列化的

• JavaPairRDD<Integer, Teacher> teacherRDD
  JavaPairRDD<Integer, Student> studentRDD
  studentRDD.join(teacherRDD)
  
  public class Teacher implements Serializable {
    
  }
  
  public class Student implements Serializable {
    
  }

上述內(nèi)容就是大數(shù)據(jù)中怎樣解決各種序列化導(dǎo)致的錯(cuò)誤，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注億速云行業(yè)資訊頻道。