Hive3怎么使用代理鍵

發(fā)布時(shí)間：2021-07-12 16:39:46 來源：億速云閱讀：172 作者：chen 欄目：大數(shù)據(jù)

這篇文章主要介紹“Hive3怎么使用代理鍵”，在日常操作中，相信很多人在Hive3怎么使用代理鍵問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Hive3怎么使用代理鍵”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

您可以使用內(nèi)置的SURROGATE_KEY用戶定義函數(shù)（UDF）在將數(shù)據(jù)輸入表中時(shí)自動(dòng)為行生成數(shù)字ID。生成的代理鍵可以替換多個(gè)復(fù)合鍵。

Hive僅在ACID表上支持代理鍵，如以下表類型矩陣中所述：

表類型	ACID	代理鍵	文件格式	插入	更新/刪除
托管：CRUD事務(wù)性	是	是	ORC	是	是
托管：僅插入式交易	是	是	任何	是	沒有
托管：臨時(shí)	沒有	沒有	任何	是	沒有
外部	沒有	沒有	任何	是	沒有

您要使用代理鍵聯(lián)接的表不能具有需要轉(zhuǎn)換的列類型。這些數(shù)據(jù)類型必須是原生類型，例如INT或STRING。

使用生成的鍵進(jìn)行聯(lián)接比使用字符串進(jìn)行聯(lián)接要快。使用生成的鍵不會(huì)通過行號(hào)將數(shù)據(jù)強(qiáng)制進(jìn)入單個(gè)節(jié)點(diǎn)。您可以生成鍵作為自然鍵的抽象。代理鍵比UUID具有優(yōu)勢(shì)，后者速度較慢且具有概率。

SURROGATE_KEY UDF為您插入表中的每一行生成唯一的ID。它基于分布式系統(tǒng)中的執(zhí)行環(huán)境生成鍵，其中包括許多因素，例如內(nèi)部數(shù)據(jù)結(jié)構(gòu)，表的狀態(tài)和最后的事務(wù)ID。代理鍵生成不需要計(jì)算任務(wù)之間的任何協(xié)調(diào)。

UDF不帶參數(shù)或帶兩個(gè)參數(shù)：

Write Id bit
Task ID bit

1. 以具有 ACID 屬性的默認(rèn) ORC 格式創(chuàng)建一個(gè)學(xué)生表。

CREATE TABLE students (row_id INT, name VARCHAR(64), dorm INT);

2. 將數(shù)據(jù)插入表中。例如：

INSERT INTO TABLE students VALUES (1, 'fred flintstone', 100), (2, 'barney rubble', 200);

3. 使用 SURROGATE_KEY UDF 創(chuàng)建學(xué)生表的版本。

CREATE TABLE students_v2 (`ID` BIGINT DEFAULT SURROGATE_KEY(), row_id INT, name VARCHAR(64),  dorm INT,  PRIMARY KEY (ID) DISABLE NOVALIDATE);

4. 插入數(shù)據(jù)，它會(huì)自動(dòng)為主鍵生成代理鍵。

INSERT INTO students_v2 (row_id, name, dorm) SELECT * FROM students;

5. 看一下代理鍵。

SELECT * FROM students_v2;+-----------------+---------------------+-------------------+-------------------+| students_v2.id  | students_v2.row_id  | students_v2.name  | students_v2.dorm  |+-----------------+---------------------+-------------------+-------------------+| 1099511627776   | 1                   | fred flintstone   | 100               || 1099511627777   | 2                   | barney rubble     | 200               |+-----------------+---------------------+-------------------+-------------------+

6. 將代理鍵作為外鍵添加到另一個(gè)表（例如 student_grades 表）中，以加快表的后續(xù)聯(lián)接。

ALTER TABLE student_grades ADD COLUMNS (gen_id BIGINT); MERGE INTO student_grades g USING students_v2 s ON g.row_id = s.row_idWHEN MATCHED THEN UPDATE SET gen_id = s.id;

現(xiàn)在，您可以在代理鍵上實(shí)現(xiàn)快速聯(lián)接。

到此，關(guān)于“Hive3怎么使用代理鍵”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

向AI問一下細(xì)節(jié)

Hive3怎么使用代理鍵

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽