如何進(jìn)行scala隱式轉(zhuǎn)換及Spark源碼解析

本篇文章為大家展示了如何進(jìn)行scala隱式轉(zhuǎn)換及Spark源碼解析，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

隱式轉(zhuǎn)換，是scala當(dāng)中一個(gè)重要的特性，今天我們結(jié)合自己的例子和spark源碼，爭(zhēng)取對(duì)隱式轉(zhuǎn)換有一個(gè)更加深入的了解。

關(guān)于implicit有3種使用方式，implicit def、implicit class以及implicit 參數(shù)

首先看一下implicit def的用法：

object implicitTest {
  class Man(val name: String){
    def work(){println(name + " is working!")}
  }

  class Woman(val name: String){
    def shop(){println(name + " is shopping!")}
  }

  class Child(val name: String){
    def play(){println(name + " is playing!")}
  }

  implicit def manToWoman(man: Man) = new Woman(man.name)
  implicit def manToChild(man: Man) = new Child(man.name)

  def main(args: Array[String]): Unit ={
    val man = new Man("Tom")
    val woman = new Woman("Lily")
    val child = new Child("baby")
    man.work()
    man.shop()
    man.play()
  }
}

在上面的代碼當(dāng)中，我們定義了3個(gè)class，Man、Woman、Child，他們之間沒有任何繼承關(guān)系。下面的main函數(shù)當(dāng)中，我們聲明了Man、Woman、Child，各一個(gè)實(shí)例，我們考慮，作為男人來講，是不是也不一定只能是工作，適當(dāng)?shù)男蓍e和娛樂是不是也是可以的。所以我們做了2個(gè)隱式轉(zhuǎn)換的函數(shù)，manToWoman和manToChild，需要注意的是，這兩個(gè)函數(shù)名其實(shí)一點(diǎn)都不重要，我們只是希望看起來更容易理解一些，你寫個(gè)aaa或者bbb，一點(diǎn)問題都沒有。

編譯過程大概是這樣的：

1、編譯man.shop()，發(fā)現(xiàn)并沒有shop方法，即將報(bào)錯(cuò)

2、報(bào)錯(cuò)之前，搜索一下作用域內(nèi)，有沒有隱式轉(zhuǎn)換函數(shù)，能夠支持man對(duì)shop的調(diào)用，找到了manToWoman。

3、把man變成woman，調(diào)用shop方法

之后再看一下implicit class的用法：

object implicitTest {
  class Man(val name: String){
    def work(){println(name + " is working!")}
  }

  class Woman(val name: String){
    def shop(){println(name + " is shopping!")}
  }

  class Child(val name: String){
    def play(){println(name + " is playing!")}
  }

  implicit class ManConvert(m: Man){
    def shop() = new Woman(m.name).shop()
    def play() = new Child(m.name).play()
  }

  def main(args: Array[String]): Unit ={
    val man = new Man("Tom")
    val woman = new Woman("Lily")
    val child = new Child("baby")
    man.work()
    man.shop()
    man.play()
  }
}

這個(gè)當(dāng)中實(shí)現(xiàn)的效果看起來和前一種差不多，其實(shí)它的語義是完全不同的。編譯過程大概是這樣的：

1、編譯man.shop()，發(fā)現(xiàn)并沒有shop方法，即將報(bào)錯(cuò)

2、報(bào)錯(cuò)之前，搜索一下作用域內(nèi)，看看有沒有隱式轉(zhuǎn)換類，能夠?yàn)閙an提供shop方法，找到了ManConvert

3、將man轉(zhuǎn)換為ManConvert，執(zhí)行shop方法。

最后我們?cè)倏匆幌耰mplicit參數(shù)的用法：

object implicitTest {
  class Man(val name: String){
    def work(){println(name + " is working!")}
    def marry(implicit w: Woman){println(name + " marryed " + w.name)}
  }

  class Woman(val name: String){
    def shop(){println(name + " is shopping!")}
  }

  def main(args: Array[String]): Unit ={
    val man = new Man("Tom")
    implicit val woman = new Woman("Lily")
    man.marry
  }
}

我們?yōu)镸an增加了一個(gè)marry的方法，它的參數(shù)w是implicit的，然后調(diào)用的時(shí)候，我們先在前面聲明了一個(gè)implicit 類型的woman，之后調(diào)用marry但是不指定參數(shù)，這樣是不會(huì)報(bào)錯(cuò)得到。但是如果我們?cè)趍arry的前面聲明了2個(gè)implicit的woman，那么marry還是會(huì)報(bào)錯(cuò)的。

換成人類的語言來解釋這件事：一個(gè)男人要結(jié)婚，如果指定結(jié)婚對(duì)象，那沒問題，如果沒指定，那就看看身邊有沒有適合的結(jié)婚對(duì)象，有的話，就直接生米煮成熟飯，可是如果身邊有2個(gè)，好吧，我也不知道該娶哪個(gè)！

結(jié)合Spark源碼，我們來深入理解一下implicit，看下面這段代碼：

val rdd = sc.textFile("hdfs://master:9000/woozoom/mavlink1.log", 12).zipWithIndex()
rdd.sortByKey()

看起來是達(dá)到目的了，可是這個(gè)sortByKey的確切含義究竟是什么，倒序？正序？能不能自定義排序原則？去找一下spark的api文檔吧，找到RDD類，查找sortByKey方法，可是，居然，居然沒有，只有sortBy，沒有sortByKey。懵逼了~~~~~~

直到我了解了implicit這回事，并且在RDD的源碼當(dāng)中我們找到了下面這段：

  implicit def rddToOrderedRDDFunctions[K : Ordering : ClassTag, V: ClassTag](rdd: RDD[(K, V)])
    : OrderedRDDFunctions[K, V, (K, V)] = {
    new OrderedRDDFunctions[K, V, (K, V)](rdd)
  }

上面我們對(duì)scala的implicit做了比較全面的了解，這樣的工作，對(duì)scala和spark的學(xué)習(xí)和理解，非常重要。

但是，我要說但是，凡事都有其兩面性，implicit在帶來代碼的緊湊和精煉的同時(shí)，負(fù)作用就是可讀性極差；特別是在工作的初級(jí)階段，我是強(qiáng)烈不建議我們團(tuán)隊(duì)內(nèi)部大量的使用implicit。在我看來，多寫兩行代碼，顯式的轉(zhuǎn)換一下，真的不是什么大事！

上述內(nèi)容就是如何進(jìn)行scala隱式轉(zhuǎn)換及Spark源碼解析，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注億速云行業(yè)資訊頻道。