溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

hive 中的拉鏈表 1

發(fā)布時間:2020-06-25 09:20:57 來源:網絡 閱讀:836 作者:jackwxh 欄目:大數據

hive中拉鏈表

在有些情況下,為了保持歷史的一些狀態(tài),需要用拉鏈表來做,這樣做目的在可以保留所有狀態(tài)的情況下可以節(jié)省空間。

拉鏈表適用于以下幾種情況吧

數據量有點大,表中某些字段有變化,但是呢變化的頻率也不是很高,業(yè)務需求呢又需要統計這種變化狀態(tài),每天全量一份呢,有點不太現實,

不僅浪費了存儲空間,有時可能業(yè)務統計也有點麻煩,這時,拉鏈表的作用就提現出來了,既節(jié)省空間,又滿足了需求。

一般在數倉中通過增加begin_date,en_date來表示,如下例,后兩列是start_date和end_date.

1
2
3
4
5
6
7
8
9
10
1  2016-08-20  2016-08-20  創(chuàng)建 2016-08-20  2016-08-20
1  2016-08-20  2016-08-21  支付 2016-08-21  2016-08-21
1  2016-08-20  2016-08-22  完成 2016-08-22  9999-12-31
2  2016-08-20  2016-08-20  創(chuàng)建 2016-08-20  2016-08-20
2  2016-08-20  2016-08-21  完成 2016-08-21  9999-12-31
3  2016-08-20  2016-08-20  創(chuàng)建 2016-08-20  2016-08-21
3  2016-08-20  2016-08-22  支付 2016-08-22  9999-12-31
4  2016-08-21  2016-08-21  創(chuàng)建 2016-08-21  2016-08-21
4  2016-08-21  2016-08-22  支付 2016-08-22  9999-12-31
5  2016-08-22  2016-08-22  創(chuàng)建 2016-08-22  9999-12-31

begin_date表示該條記錄的生命周期開始時間,end_date表示該條記錄的生命周期結束時間;

end_date = ‘9999-12-31’表示該條記錄目前處于有效狀態(tài);

如果查詢當前所有有效的記錄,則select * from order_his where dw_end_date = ‘9999-12-31′

如果查詢2016-08-21的歷史快照,則select * from order_his where begin_date <= ‘2016-08-21′ and end_date >= ‘2016-08-21’

再簡單介紹一下拉鏈表的更新:

假設以天為維度,以每天的最后一個狀態(tài)為當天的最終狀態(tài)。

以一張訂單表為例,如下是原始數據,每天的訂單狀態(tài)明細

1
2
3
4
5
6
7
8
9
10
1   2016-08-20  2016-08-20  創(chuàng)建
2   2016-08-20  2016-08-20  創(chuàng)建
3   2016-08-20  2016-08-20  創(chuàng)建
1   2016-08-20  2016-08-21  支付
2   2016-08-20  2016-08-21  完成
4   2016-08-21  2016-08-21  創(chuàng)建
1   2016-08-20  2016-08-22  完成
3   2016-08-20  2016-08-22  支付
4   2016-08-21  2016-08-22  支付
5   2016-08-22  2016-08-22  創(chuàng)建

根據拉鏈表我們希望得到的是

1
2
3
4
5
6
7
8
9
10
1  2016-08-20  2016-08-20  創(chuàng)建 2016-08-20  2016-08-20
1  2016-08-20  2016-08-21  支付 2016-08-21  2016-08-21
1  2016-08-20  2016-08-22  完成 2016-08-22  9999-12-31
2  2016-08-20  2016-08-20  創(chuàng)建 2016-08-20  2016-08-20
2  2016-08-20  2016-08-21  完成 2016-08-21  9999-12-31
3  2016-08-20  2016-08-20  創(chuàng)建 2016-08-20  2016-08-21
3  2016-08-20  2016-08-22  支付 2016-08-22  9999-12-31
4  2016-08-21  2016-08-21  創(chuàng)建 2016-08-21  2016-08-21
4  2016-08-21  2016-08-22  支付 2016-08-22  9999-12-31
5  2016-08-22  2016-08-22  創(chuàng)建 2016-08-22  9999-12-31

可以看出 1,2,3,4每個訂單的狀態(tài)都有,并且也能統計到當前的有效狀態(tài)。



向AI問一下細節(jié)

免責聲明:本站發(fā)布的內容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI