Hive中的count(distinct)如何優(yōu)化

上述SQL代碼中，now表示當(dāng)天的日期。很容易想到，越接近月末，上面的統(tǒng)計的數(shù)據(jù)量就會越大。更重要的是，在這種情況下，“數(shù)據(jù)傾斜”是必然的，因為只有一個reducer在進行COUNT(DISTINCT uuid)的計算，所有的數(shù)據(jù)都流向唯一的一個reducer，不傾斜才怪。

優(yōu)化1

其實，在COUNT(DISTINCT xxx)的時候，我們可以采用“分治”的思想來解決。對于上面的例子，首先我們按照uuid的前n位進行GROUP BY，并做COUNT(DISTINCT )操作，然后再對所有的COUNT(DISTINCT)結(jié)果進行求和。 
我們先把SQL寫出來，然后再做分析。

-- 外層SELECT求和SELECT  SUM(mau_part) mauFROM(  -- 內(nèi)層SELECT分別進行COUNT(DISTINCT)計算  SELECT    substr(uuid, 1, 3) uuid_part,    COUNT(DISTINCT substr(uuid, 4)) AS mau_part  FROM detail_sdk_session  WHERE partition_date >= '2016-01-01' AND partition_date <= now  GROUP BY substr(uuid, 1, 3)) t;

上述SQL中，內(nèi)層SELECT根據(jù)uuid的前3位進行GROUP BY，并計算相應(yīng)的活躍用戶數(shù)COUNT(DISTINCT)，外層SELECT求和，得到最終的月活躍用戶數(shù)。 
這種方法的好處在于，在不同的reducer各自進行COUNT(DISTINCT)計算，充分發(fā)揮hadoop的優(yōu)勢，然后進行求和。

注意，上面SQL中，n設(shè)為3，不應(yīng)過大。 
為什么n不應(yīng)該太大呢？我們假定uuid是由字母和數(shù)字組成的：大寫字母、小寫字母和數(shù)字，字符總數(shù)為26+26+10=62。理論上，內(nèi)層SELECT進行GROUP BY時，會有 62^n 個分組，外層SELECT就會進行 62^n 次求和。所以n不宜過大。當(dāng)然，如果數(shù)據(jù)量十分巨大，n必須充分大，才能保證內(nèi)層SELECT中的COUNT(DISTINCT)能夠計算出來，此時可以再嵌套一層SELECT，這里不再贅述。

優(yōu)化2

其實，很多博客中都記錄了使用GROUP BY 操作代替 COUNT(DISTINCT) 操作，但有時僅僅使用GROUP BY操作還不夠，還需要加點小技巧。 
還是先來看一下代碼：

--  第三層SELECTSELECT  SUM(s.mau_part) mauFROM(  -- 第二層SELECT  SELECT    tag,    COUNT(*) mau_part  FROM  (      -- 第一層SELECT    SELECT      uuid,       CAST(RAND() * 100 AS BIGINT) tag  -- 為去重后的uuid打上標(biāo)記，標(biāo)記為：0-100之間的整數(shù)。    FROM detail_sdk_session    WHERE partition_date >= '2016-01-01' AND partition_date <= now    GROUP BY uuid   -- 通過GROUP BY，保證去重   ) t  GROUP BY tag) s;

• 第一層SELECT：對uuid進行去重，并為去重后的uuid打上整數(shù)標(biāo)記
• 第二層SELECT：按照標(biāo)記進行分組，統(tǒng)計每個分組下uuid的個數(shù)
• 第三層SELECT：對所有分組進行求和       
  上面這個方法最關(guān)鍵的是為每個uuid進行標(biāo)記，這樣就可以對其進行分組，分別計數(shù)，最后去和。如果數(shù)據(jù)量確實很大，也可以增加分組的個數(shù)。例如：CAST(RAND() * 1000 AS BIGINT) tag