溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Spark SQL中怎么實現(xiàn)union操作

發(fā)布時間：2021-06-26 14:26:39 來源：億速云 閱讀：2881 作者：Leah 欄目：大數(shù)據(jù)

今天就跟大家聊聊有關(guān)Spark SQL中怎么實現(xiàn)union操作，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

union all是直接連接，取到得是所有值，記錄可能有重復  
union 是取唯一值，記錄沒有重復  
1、UNION 的語法如下：

[SQL 語句 1]
      UNION
[SQL 語句 2]

2、UNION ALL 的語法如下：

[SQL 語句 1]
      UNION ALL
[SQL 語句 2]

對比總結(jié)：

UNION和UNION ALL關(guān)鍵字都是將兩個結(jié)果集合并為一個，但這兩者從使用和效率上來說都有所不同。

1、對重復結(jié)果的處理：UNION在進行表鏈接后會篩選掉重復的記錄，Union All不會去除重復記錄。

2、對排序的處理：Union將會按照字段的順序進行排序；UNION ALL只是簡單的將兩個結(jié)果合并后就返回。

從效率上說，UNION ALL 要比UNION快很多，所以，如果可以確認合并的兩個結(jié)果集中不包含重復數(shù)據(jù)且不需要排序時的話，那么就使用UNION ALL。

Spark SQL

實際上Spark SQL的DataSet的API是沒有union all操作的，只有union操作，而且其union操作就是union all操作。

此時要實現(xiàn)union操作，需要在union之后加上distinct操作。

sales.union(sales).show()

輸出結(jié)果是有重復數(shù)據(jù)的

Spark SQL中怎么實現(xiàn)union操作

需要將操作更改為：

sales.union(sales).distinct().show()

看完上述內(nèi)容，你們對Spark SQL中怎么實現(xiàn)union操作有進一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注億速云行業(yè)資訊頻道，感謝大家的支持。

向AI問一下細節(jié)

免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手