怎么理解spark的計(jì)算器與廣播變量

這篇文章給大家介紹怎么理解spark的計(jì)算器與廣播變量，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

一.計(jì)算器

1.官網(wǎng)

2.解釋

計(jì)數(shù)器只支持加，計(jì)算器字task里面

3.測(cè)試

4.結(jié)果截圖WEBUI

4.應(yīng)用場(chǎng)景

數(shù)據(jù)很多有的數(shù)據(jù)掛了，做數(shù)據(jù)質(zhì)量監(jiān)控用

二.廣播變量

1.官網(wǎng)

2.join代碼

 def commonJoin(sc:SparkContext): Unit = {
    val peopleInfo = sc.parallelize(Array(("G301","糊涂蟲(chóng)"),("G302","森老"),("G303","Gordon"))).map(x=>(x._1, x))
    val peopleDetail = sc.parallelize(Array(("G301","清華大學(xué)",18))).map(x=>(x._1,x))
    // TODO... 大表關(guān)聯(lián)小表  join  key   from a join b on a.id=b.id
    peopleInfo.join(peopleDetail).map(x=>{x._1 + "," + x._2._1._2 + "," + x._2._2._2+ "," + x._2._2._3})
  }

3.結(jié)果WEBUI

4.廣播變量使用前提

廣播變量的前提條件是數(shù)據(jù)量少，一大一小，不能超過(guò)內(nèi)存
數(shù)據(jù)量大小還要看內(nèi)存，你內(nèi)存夠大就可以放
廣播變量放到內(nèi)存中

5.廣播變量的join代碼

  def broadcastJoin(sc:SparkContext): Unit = {
    val peopleInfo = sc.parallelize(Array(("G301","糊涂蟲(chóng)"),("G302","森老"),("G303","Gordon"))).collectAsMap()
    val peopleDetail = sc.parallelize(Array(("G301","清華大學(xué)",18))).map(x=>(x._1, x))
    // 通過(guò)sc將變量廣播出去
    val peopleBroadcast = sc.broadcast(peopleInfo)
    // mappartition: 取出表中的一條記錄和廣播變量中的對(duì)比
    peopleDetail.mapPartitions(x=>{
      val map = peopleBroadcast.value  // 是不是就是內(nèi)存的東西
      for((key,value)<-x if (map.contains(key)))
        yield (key,map.get(key).getOrElse(""), value._2)
    }).foreach(println)
  }

6.WEBUI結(jié)果

7.兩個(gè)join對(duì)比

廣播變量的沒(méi)有了shuffer
有前提數(shù)據(jù)量不可以多
把小表廣播到內(nèi)存中，大表每個(gè)數(shù)據(jù)與其對(duì)比
有就要，沒(méi)有就不要。
廣播變量與join結(jié)合工作中常用

關(guān)于怎么理解spark的計(jì)算器與廣播變量就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。