Spark SQL 測(cè)試JoinType中所有join的類型，便于理解

準(zhǔn)備 測(cè)試數(shù)據(jù)

trade
訂單號(hào) 賣家 買家 買家城市

1   A   小王  北京
2   B   小李  天津
3   A   小劉  北京

order
所屬訂單號(hào) 買家 商品名稱 價(jià)格 發(fā)貨時(shí)間

1   小王  電視  12  2015-08-01 09:08:31
1   小王  冰箱  24  2015-08-01 09:08:14
2   小李  空調(diào)  12  2015-09-02 09:01:31

注:皆以\t分割

創(chuàng)建DF

 def main(args: Array[String]): Unit = {
val spark=SparkSession.builder()
      .appName("JoinDemo")
      .master("local[2]")
      .getOrCreate()
 import spark.implicits._
 val order=spark.sparkContext.textFile("order.data").map(_.split("\t")).map(x=>Order(x(0),x(1),x(2),x(3),x(4))).toDF()
 val trade=spark.sparkContext.textFile("trade.data").map(_.split("\t")).map(x=>Trade(x(0),x(1),x(2),x(3))).toDF()
    order.show()
//    +----+-----+------+-----+----------+
//    |o_id|buyer|p_name|price|      date|
//    +----+-----+------+-----+----------+
//    |   1| 小王|  電視|   12|2015-08-01|
//      |   1| 小王|  冰箱|   24|2015-08-01|
//      |   2| 小李|  空調(diào)|   12|2015-09-02|
//      +----+-----+------+-----+----------+

    trade.show()
//    +----+------+-----+----------+
//    |o_id|seller|buyer|buyer_city|
//    +----+------+-----+----------+
//    |   1|     A| 小王|      北京|
//      |   2|     B| 小李|      天津|
//      |   3|     A| 小劉|      北京|
//      +----+------+-----+----------+

}
  case class Student(id:String,name:String,phoneNum:String,email:String)
  case class Order(o_id:String,buyer:String,p_name:String,price:String,date:String)
  case class Trade(o_id:String,seller:String,buyer:String,buyer_city:String)

JoinType類型

默認(rèn)是 `inner`. 必須是以下類型的一種:`inner`, `cross`, `outer`, `full`, `full_outer`, `left`, `left_outer`,`right`, `right_outer`, `left_semi`, `left_anti`.

1、不指定和 inner

不指定

 trade.join(order,trade("o_id")===order("o_id")).show

+----+------+-----+----------+----+-----+------+-----+----------+
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price|      date|
+----+------+-----+----------+----+-----+------+-----+----------+
|   1|     A| 小王|      北京|   1| 小王|  電視|   12|2015-08-01|
|   1|     A| 小王|      北京|   1| 小王|  冰箱|   24|2015-08-01|
|   2|     B| 小李|      天津|   2| 小李|  空調(diào)|   12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+

指定inner

scala> trade.join(order,trade("o_id")===order("o_id"),"inner").show
+----+------+-----+----------+----+-----+------+-----+----------+               
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price|      date|
+----+------+-----+----------+----+-----+------+-----+----------+
|   1|     A| 小王|      北京|   1| 小王|  電視|   12|2015-08-01|
|   1|     A| 小王|      北京|   1| 小王|  冰箱|   24|2015-08-01|
|   2|     B| 小李|      天津|   2| 小李|  空調(diào)|   12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+

不指定和inner都是一樣，都是求兩Datarame的交集。

2、left 和 left outer

scala> trade.join(order,trade("o_id")===order("o_id"),"left").show
+----+------+-----+----------+----+-----+------+-----+----------+               
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price|      date|
+----+------+-----+----------+----+-----+------+-----+----------+
|   3|     A| 小劉|      北京|null| null|  null| null|      null|
|   1|     A| 小王|      北京|   1| 小王|  電視|   12|2015-08-01|
|   1|     A| 小王|      北京|   1| 小王|  冰箱|   24|2015-08-01|
|   2|     B| 小李|      天津|   2| 小李|  空調(diào)|   12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+

scala> trade.join(order,trade("o_id")===order("o_id"),"left_outer").show
+----+------+-----+----------+----+-----+------+-----+----------+               
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price|      date|
+----+------+-----+----------+----+-----+------+-----+----------+
|   3|     A| 小劉|      北京|null| null|  null| null|      null|
|   1|     A| 小王|      北京|   1| 小王|  電視|   12|2015-08-01|
|   1|     A| 小王|      北京|   1| 小王|  冰箱|   24|2015-08-01|
|   2|     B| 小李|      天津|   2| 小李|  空調(diào)|   12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+

left join和left outer join完全等價(jià)

right 和 right outer

scala> trade.join(order,trade("o_id")===order("o_id"),"right_outer").show
+----+------+-----+----------+----+-----+------+-----+----------+               
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price|      date|
+----+------+-----+----------+----+-----+------+-----+----------+
|   1|     A| 小王|      北京|   1| 小王|  電視|   12|2015-08-01|
|   1|     A| 小王|      北京|   1| 小王|  冰箱|   24|2015-08-01|
|   2|     B| 小李|      天津|   2| 小李|  空調(diào)|   12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+

scala> trade.join(order,trade("o_id")===order("o_id"),"right").show
+----+------+-----+----------+----+-----+------+-----+----------+
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price|      date|
+----+------+-----+----------+----+-----+------+-----+----------+
|   1|     A| 小王|      北京|   1| 小王|  電視|   12|2015-08-01|
|   1|     A| 小王|      北京|   1| 小王|  冰箱|   24|2015-08-01|
|   2|     B| 小李|      天津|   2| 小李|  空調(diào)|   12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+

right 和 right outer等價(jià)

full_outer

scala> trade.join(order,trade("o_id")===order("o_id"),"full_outer").show
+----+------+-----+----------+----+-----+------+-----+----------+               
|o_id|seller|buyer|buyer_city|o_id|buyer|p_name|price|      date|
+----+------+-----+----------+----+-----+------+-----+----------+
|   3|     A| 小劉|      北京|null| null|  null| null|      null|
|   1|     A| 小王|      北京|   1| 小王|  電視|   12|2015-08-01|
|   1|     A| 小王|      北京|   1| 小王|  冰箱|   24|2015-08-01|
|   2|     B| 小李|      天津|   2| 小李|  空調(diào)|   12|2015-09-02|
+----+------+-----+----------+----+-----+------+-----+----------+

得出兩Datarame交集

left_semi

scala> trade.join(order,trade("o_id")===order("o_id"),"left_semi").show
+----+------+-----+----------+
|o_id|seller|buyer|buyer_city|
+----+------+-----+----------+
|   1|     A| 小王|      北京|
|   2|     B| 小李|      天津|
+----+------+-----+----------+

過濾出兩DF共有的部分

left_anti

cala> trade.join(order,trade("o_id")===order("o_id"),"left_anti").show
+----+------+-----+----------+
|o_id|seller|buyer|buyer_city|
+----+------+-----+----------+
|   3|     A| 小劉|      北京|
+----+------+-----+----------+

過濾出DF2中DF1沒有的部分