用HiveSQL計(jì)算連續(xù)天數(shù)問題的方法是什么

這期內(nèi)容當(dāng)中小編將會給大家?guī)碛嘘P(guān)用HiveSQL計(jì)算連續(xù)天數(shù)問題的方法是什么，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

在日常工作中，可能經(jīng)常會接到業(yè)務(wù)方類似這樣的需求：

統(tǒng)計(jì)今年每個(gè)用戶最長連續(xù)簽到的天數(shù)；

統(tǒng)計(jì)最近一個(gè)月連續(xù)有回帖超過5天的話題；

統(tǒng)計(jì)本季度中連續(xù)3天以上單日銷量超過100的商品。

這種“連續(xù)天數(shù)”問題看似簡單，但實(shí)際上對思維能力和編寫復(fù)雜SQL語句的能力要求比較高。下面以我們曾經(jīng)接到的一個(gè)需求為例，提出解決辦法。

create table user_calendar_record (  user_id bigint comment '用戶ID',  event_type int comment '記錄類型',  event_data string comment '記錄數(shù)據(jù)',  upload_time string comment '上傳時(shí)間'  del_status int comment '刪除狀態(tài)') partitioned by (  pt_date string comment '記錄（分區(qū)）日期');

現(xiàn)要找出4月間，每個(gè)用戶類型為24的記錄項(xiàng)。如果有用戶連續(xù)一周及以上記錄該項(xiàng)，說明TA對某方面特別重視，應(yīng)當(dāng)重點(diǎn)運(yùn)營。

編寫SQL的思路如下。為了避免過多嵌套，所有步驟中都先用子表表示，最后再合成完成的語句。

1. 以用戶ID分組，以記錄日期為排序規(guī)則，添加一列排名。由于用戶每天可以記錄不止一次，所以要采用dense_rank()函數(shù)，不能用rank()或row_number()。

(  select user_id,pt_date,  dense_rank() over(partition by user_id order by pt_date) as date_rank  from user_calendar_record  where pt_date >= 20190401 and pt_date <= 20190430  and event_type = 24 and del_status = 0) t_a;

2. 在以上添加了排名的表中，用記錄日期減去排名列代表的天數(shù)，得到另一個(gè)日期。該日期實(shí)際上就是一個(gè)連續(xù)日期序列的第一天日期減去一天（讀起來有點(diǎn)拗口，但很容易理解），用它來做標(biāo)記。

(  select user_id,pt_date,  date_sub(pt_date, cast(date_rank as int)) as start_point  from t_a) t_b;

3.以上表中的user_id和start_point為分組依據(jù)，計(jì)算每個(gè)連續(xù)日期序列的天數(shù)值。因?yàn)閿?shù)據(jù)量不大，所以這里直接用了distinct。數(shù)據(jù)量大的話還是應(yīng)該采用group by來代替distinct。

4. 最后就可以篩選出天數(shù)值最大值>=7的那些記錄了。

select user_id,max(day_count) as max_day_count from t_cgroup by uidhaving max(day_count) >= 7;

將上面的4個(gè)步驟合起來，就是如下的完整SQL語句了：

  
    
  
  
  select user_id,max(day_count) as max_day_countfrom (  select user_id,start_point,  count(distinct pt_date) as day_count  from (    select user_id,pt_date,    date_sub(pt_date, cast(date_rank as int)) as start_point    from (        select user_id,pt_date,        dense_rank() over(partition by user_id order by pt_date) as date_rank        from user_calendar_record        where pt_date >= 20190401 and pt_date <= 20190430        and event_type = 24 and del_status = 0    ) t_a  ) t_b  group by user_id,start_point) t_cgroup by user_idhaving max(day_count) >= 7;
  
    
  
  
  如果還需要同時(shí)得到最大連續(xù)天數(shù)對應(yīng)的起始日期怎么辦呢？可以將日期計(jì)數(shù)值存成一張臨時(shí)表，連續(xù)日期最大值存成另一張臨時(shí)表，然后兩表做join就可以得到結(jié)果了。

上述就是小編為大家分享的用HiveSQL計(jì)算連續(xù)天數(shù)問題的方法是什么了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道。