如何用外部程序優(yōu)化SQL語句中的IN和EXISTS

數(shù)據(jù)結(jié)構(gòu)

IN 和 EXISTS 是 SQL 中常見的復(fù)雜條件，在將 SQL（存儲過程）轉(zhuǎn)換成庫外計算獲取高性能時也會面對這些問題。本文將以 TPC-H 定義的模型為基礎(chǔ)，介紹如何用集算器的語法實現(xiàn) IN、EXISTS 并做優(yōu)化。

TPC-H 是 TPC 事務(wù)處理性能委員會制定的用于 OLAP 數(shù)據(jù)庫管理系統(tǒng)的測試標(biāo)準(zhǔn)，模擬真實商業(yè)應(yīng)用環(huán)境，以評估商業(yè)分析中決策支持系統(tǒng)的性能。TPC-H 模型定義了 8 張表，表結(jié)構(gòu)和表關(guān)系如下圖：

IN 常數(shù)集合

SQL 示例（1）：

select
      P_SIZE, P_TYPE, P_BRAND, count(1) as P_COUNT
from
      PART
where
      P_SIZE in (2, 3, 8, 15, 17, 25, 27, 28, 30, 38, 41, 44, 45)
      and P_TYPE in ('SMALL BRUSHED NICKEL', 'SMALL POLISHED STEEL')
      and P_BRAND not in ('Brand#12', 'Brand#13')
group by
      P_SIZE, P_TYPE, P_BRAND

優(yōu)化思路：

如果常數(shù)集合元素數(shù)少于 3 個則可以翻譯成 (f == v1 || f == v2) 這種樣式，NOT IN 對應(yīng)的就是（f != v1 && f != v2）。較多的時候可以在外層把常數(shù)集合定義成序列，然后用 A.contain(f)來判斷字段是否在序列中，經(jīng)驗表明元素個數(shù)超過 10 個時二分查找會明顯快于順序查找，如果要用二分查找則需要先把序列排序，然后用 A.contain@b(f)來進(jìn)行有序查找，NOT IN 對應(yīng)的就是! A.contain(f)。注意一定要把序列定義在循環(huán)函數(shù)外，否則會被多次執(zhí)行。

如果常數(shù)集合元素數(shù)量特別多可以用連接過濾，具體請參照下圖代碼。

集算器實現(xiàn)：

如果 A1 的元素數(shù)量特別多，則可以使用哈希連接的方法來過濾，把第 3 行代碼替換如下：

IN 子查詢

子查詢選出字段是主鍵

SQL 示例（2）：

select
      PS_SUPPKEY, count(1) as S_COUNT
from
      PARTSUPP
where
      PS_PARTKEY in (
            select
                  P_PARTKEY
            from
                  PART
            where
                  P_NAME like 'bisque%%'
      )
group by
      PS_SUPPKEY

優(yōu)化思路：

子查詢過濾后讀入內(nèi)存，然后外層表與先讀入的內(nèi)存表（子查詢）做哈希連接進(jìn)行過濾。集算器提供了 switch@i()、join@i() 兩個函數(shù)用來做哈希連接過濾，switch 是外鍵式連接，用來把外鍵字段變成指引字段，這樣就可以通過外鍵字段直接引用指向表的字段，join 函數(shù)不會改變外鍵字段的值，可用于只過濾。

集算器實現(xiàn)：

子查詢選出字段不是主鍵

SQL 示例（3）：

select
      O_ORDERPRIORITY, count(*) as O_COUNT      
from
      ORDERS
where
      O_ORDERDATE >= date '1995-10-01'
      and O_ORDERDATE < date '1995-10-01' + interval '3' month
      and O_ORDERKEY in (
            select
                  L_ORDERKEY
            from
                  LINEITEM
            where
                  L_COMMITDATE< L_RECEIPTDATE
      )

group by
      O_ORDERPRIORITY

優(yōu)化思路：

子查詢過濾后按關(guān)聯(lián)字段去重讀入內(nèi)存，然后就變成類似于主鍵的情況了，可以繼續(xù)用上面說的 switch@i()、join@i() 兩個函數(shù)用來做哈希連接過濾。

集算器實現(xiàn)：

子查詢結(jié)果集內(nèi)存放不下

SQL 示例（3）：

select
      O_ORDERPRIORITY, count(*) as O_COUNT
from
      ORDERS
where
      O_ORDERDATE >= date '1995-10-01'
      and O_ORDERDATE < date '1995-10-01' + interval '3' month
      and O_ORDERKEY in (
            select
                  L_ORDERKEY
            from
                  LINEITEM
            where
                  L_COMMITDATE< L_RECEIPTDATE
      )

group by
      O_ORDERPRIORITY

優(yōu)化思路：

IN 子查詢相當(dāng)于對子查詢結(jié)果集去重然后跟外層表做內(nèi)連接，而做連接效率較好的就是哈希連接和有序歸并連接，所以這個問題就變成了怎么把 IN 翻譯成高效的連接，下面我們來分析在不同的數(shù)據(jù)分布下如何把 IN 轉(zhuǎn)成連接。

(1) 外層表數(shù)據(jù)量比較小可以裝入內(nèi)存：

先讀入外層表，如果外層表關(guān)聯(lián)字段不是邏輯主鍵則去重，再拿上一步算出來的關(guān)聯(lián)字段的值對子查詢做哈希連接過濾，最后拿算出來的子查詢關(guān)聯(lián)字段的值對外層表做哈希連接過濾。

(2) 外層表和內(nèi)層表按關(guān)聯(lián)字段有序：

此時可以利用函數(shù) joinx() 來做有序游標(biāo)的歸并連接，如果內(nèi)層表關(guān)聯(lián)字段不是邏輯主鍵則需要先去重。此例中的 ORDERS 表和 LINEITEM 表是按照 ORDERKEY 同序存放，可以利用此方法來做優(yōu)化。

(3) 內(nèi)層表是大維表并且按主鍵有序存放：

集算器提供了針對有序大維表文件做連接的函數(shù) A.joinx，其它方法跟內(nèi)存能放下時的處理類似在此不再描述。

集算器實現(xiàn)（1）：

集算器實現(xiàn)（2）：

EXISTS 等值條件

此章節(jié)的優(yōu)化思路和 IN 子查詢的優(yōu)化思路是相同的，事實上這種 EXISTS 也都可以用 IN 寫出來（或者倒過來，把 IN 用 EXISTS 寫出來）。

子查詢關(guān)聯(lián)字段是主鍵

SQL 示例（4）：

select
      PS_SUPPKEY, count(1) as S_COUNT
from
      PARTSUPP
where
      exists (
            select
                  *
            from
                  PART
            where
                  P_PARTKEY = PS_PARTKEY
                  and P_NAME like 'bisque%%'
      )

group by
      PS_SUPPKEY

優(yōu)化思路：

子查詢過濾后讀入內(nèi)存，然后外層表與先讀入的內(nèi)存表（子查詢）做哈希連接進(jìn)行過濾。集算器提供了 switch@i()、join@i() 兩個函數(shù)用來做哈希連接過濾，switch 是外鍵式連接，用來把外鍵字段變成指引字段，這樣就可以通過外鍵字段直接引用指向表的字段，join 函數(shù)不會改變外鍵字段的值，可用于只過濾。

集算器實現(xiàn)：

子查詢關(guān)聯(lián)字段不是主鍵

SQL 示例（5）：

select
      O_ORDERPRIORITY, count(*) as O_COUNT
from
      ORDERS
where
      O_ORDERDATE >= date '1995-10-01'
      and O_ORDERDATE < date '1995-10-01' + interval '3' month
      and exists (
            select
                  *
            from
                  LINEITEM
            where
                  L_ORDERKEY = O_ORDERKEY
                  and L_COMMITDATE < L_RECEIPTDATE
            )

group by
      O_ORDERPRIORITY

優(yōu)化思路：

子查詢過濾后按關(guān)聯(lián)字段去重讀入內(nèi)存，然后就變成類似于主鍵的情況了，可以繼續(xù)用上面說的 switch@i()、join@i() 兩個函數(shù)用來做哈希連接過濾。

集算器實現(xiàn)：

子查詢結(jié)果集內(nèi)存放不下

SQL 示例（5）：

select
      O_ORDERPRIORITY, count(*) as O_COUNT
from
      ORDERS
where
      O_ORDERDATE >= date '1995-10-01'
      and O_ORDERDATE < date '1995-10-01' + interval '3' month
      and exists (
            select
                  *
            from
                  LINEITEM
            where
                  L_ORDERKEY = O_ORDERKEY
                  and L_COMMITDATE < L_RECEIPTDATE
            )
group by
      O_ORDERPRIORITY

優(yōu)化思路：

等值 EXISTS 相當(dāng)于對內(nèi)部表關(guān)聯(lián)字段去重然后跟外層表做內(nèi)連接，而做連接效率較好的就是哈希連接和有序歸并連接，所以這個問題就變成了怎么把 EXISTS 翻譯成高效的連接，下面我們來分析在不同的數(shù)據(jù)分布下如何把 EXISTS 轉(zhuǎn)成連接。

1、外層表數(shù)據(jù)量比較小可以裝入內(nèi)存：

先讀入外層表，如果外層表關(guān)聯(lián)字段不是邏輯主鍵則去重，再拿上一步算出來的關(guān)聯(lián)字段的值對子查詢做哈希連接過濾，最后拿算出來的子查詢關(guān)聯(lián)字段的值對外層表做哈希連接過濾。

2、外層表和內(nèi)層表按關(guān)聯(lián)字段有序：

此時可以利用函數(shù) joinx() 來做有序游標(biāo)的歸并連接，如果內(nèi)層表關(guān)聯(lián)字段不是邏輯主鍵則需要先去重。此例中的 ORDERS 表和 LINEITEM 表是按照 ORDERKEY 同序存放，可以利用此方法來做優(yōu)化。

3、內(nèi)層表是大維表并且按主鍵有序存放：

集算器提供了針對有序大維表文件做連接的函數(shù) A.joinx，其它方法跟內(nèi)存能放下時的處理類似在此不再描述。

集算器實現(xiàn)（1）：

集算器實現(xiàn)（2）：

EXISTS 非等值條件

同表關(guān)聯(lián)

SQL 示例（6）：

select
      L_SUPPKEY, count(*) as numwait
from
      LINEITEM L1,
where
      L1.L_RECEIPTDATE > L1.L_COMMITDATE
      and exists (
            select
                  *
            from
                  LINEITEM L2
            where
                  L2.L_ORDERKEY = L1.L_ORDERKEY
                  and L2.L_SUPPKEY <> L1.L_SUPPKEY
            )
      and not exists (
            select
                  *
            from
                  LINEITEM L3
            where
                  L3.L_ORDERKEY = L1.L_ORDERKEY
                  and L3.L_SUPPKEY <> L1.L_SUPPKEY
                  and L3.L_RECEIPTDATE > L3.L_COMMITDATE
            )
group by
      L_SUPPKEY

優(yōu)化思路：

我們先來看一下 LINEITEM 表的數(shù)據(jù)特點，LINEITEM 表的主鍵是 L_ORDERKEY、L_LINENUMBER，一個訂單對應(yīng) LINEITEM 里的多條記錄，這些記錄的 L_ORDERKEY 是相同的并且在數(shù)據(jù)文件中是相鄰的。知道這些信息后再來分析上面的 SQL，其條件是為了找出有多個供應(yīng)商供貨并且有且僅有一個供應(yīng)商沒有按時交貨的訂單，因為數(shù)據(jù)是按訂單順序存放的，這樣我們就可以按訂單有序分組，然后循環(huán)每組訂單判斷是否有沒按時交貨的訂單項，是否有多個供貨商，并且是不是只有一個供應(yīng)商沒有按時交貨。

集算器實現(xiàn)：

總結(jié)

在沒有空值的時候帶子查詢的 IN 都可以用 EXISTS 描述，同一個查詢需求用 IN 描述和用 EXISTS 描述翻譯成的集算器代碼是相同的，所以我們只要弄清楚 EXISTS 怎么翻譯和優(yōu)化就知道 IN 怎么處理了。

等值 exist 本質(zhì)上是做連接，兩個表做連接效率較好的兩種方式是哈希連接和有序歸并連接，對于翻譯 select *** from A where exists (select *** from B where ***) 樣式的 SQL，我們首先要弄清楚下列信息：

（1）關(guān)聯(lián)字段是否是各表的主鍵或者邏輯主鍵

（2）A、B 表的規(guī)模，執(zhí)行其它過濾條件后是否能載入內(nèi)存

（3）如果沒有某個表能裝入內(nèi)存則要考察兩個表是否按關(guān)聯(lián)字段有序

如果有一個表能載入內(nèi)存則可以選用哈希連接的方式來實現(xiàn)，相關(guān)的集算器函數(shù)有兩個 cs.switch()、cs.join()，這兩個函數(shù)有兩個可用的選項 @i、@d 分別對應(yīng) exists 和 not exists，參數(shù)里的表要求按關(guān)聯(lián)字段值唯一，如果不是邏輯主鍵則要先去重，可用 A.groups()去重。如果兩個表都很大不能載入內(nèi)存則要考察兩個表是否按關(guān)聯(lián)字段有序，如果無序可以用 cs.sortx() 排序，對于有序的兩個表就可以用 joinx() 來做連接了。

非等值運算則要分析其中的運算邏輯看能否轉(zhuǎn)成分組后再計算，如果不能則只能使用嵌套循環(huán)連接的方式了，對應(yīng)的函數(shù)是 xjoin()。

知道這些信息并熟練掌握集算器相關(guān)的幾個函數(shù)后我們就能夠?qū)懗龈咝У拇a。