如何實現(xiàn)從RDBMS到Hadoop的實時流傳輸

這篇文章主要介紹“如何實現(xiàn)從RDBMS到Hadoop的實時流傳輸”，在日常操作中，相信很多人在如何實現(xiàn)從RDBMS到Hadoop的實時流傳輸問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”如何實現(xiàn)從RDBMS到Hadoop的實時流傳輸”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

Kafka用武之地：整體解決方案架構(gòu)

下圖顯示了在整體解決方案架構(gòu)中，RDBMS的業(yè)務(wù)數(shù)據(jù)傳遞到目標 Hive 表格結(jié)合了 Kafka ， Flume和Hive交易功能。

7步實時流傳輸?shù)紿adoop

現(xiàn)在深入到解決方案的詳細信息，我會告訴你如何簡單幾步實時流輸數(shù)據(jù)到Hadoop。

1. 從關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)提取數(shù)據(jù)

所有關(guān)系數(shù)據(jù)庫都有一個記錄最近交易的日志文件。 我們的傳輸流解決方案的***步是，在能夠傳到Hadoop的信息格式中獲得這些交易。  講完提取機制得單獨占用一篇博文–所以 如果你想了解更多此過程的信息， 請聯(lián)系我們。

2. 建立Kafka Producer

發(fā)布消息到Kafka主題的過程被稱為“生產(chǎn)者”?！爸黝}”是Kafka保存的分類消息。 RDBMS的交易將被轉(zhuǎn)換為Kafka話題。  對于該例，讓我們想一想銷售團隊的數(shù)據(jù)庫，其中的交易是作為Kafka主題發(fā)表的。 建立Kafka生產(chǎn)者需要以下步驟：

3. 設(shè)置 Hive

接下來，我們將在Hive中創(chuàng)建一張表，準備接收銷售團隊的數(shù)據(jù)庫事務(wù)。 在這個例子中，我們將創(chuàng)建一個客戶表：

為了讓Hive能夠處理交易， 配置中需要以下設(shè)置：

hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.dbtxnmanager

4.設(shè)置Flume Agent，從Kafka到Hive流傳輸

現(xiàn)在讓我們來看看如何創(chuàng)建Flume代理，實現(xiàn)從Kafka主題中獲取數(shù)據(jù)，發(fā)送到Hive表。

遵循步驟來設(shè)置環(huán)境，然后建立Flume代理：

接著，如下創(chuàng)建一個log4j屬性文件：

然后為Flume代理使用下面的配置文件：

5.開啟Flume代理

使用如下命令開啟Flume代理：

$ /usr/hdp/apache-flume-1.6.0/bin/flume-ng agent -n flumeagent1 -f  ~/streamingdemo/flume/conf/flumetohive.conf

6.開啟Kafka Stream

如下示例，是一個模擬交易消息， 在實際系統(tǒng)中需要由源數(shù)據(jù)庫生成。 例如，以下可能來自重復(fù)SQL交易的Oracle數(shù)據(jù)流，這些交易已提交到數(shù)據(jù)庫，  也可能來自GoledenGate。

7.接收Hive數(shù)據(jù)

以上所有完成， 現(xiàn)在從Kafka發(fā)送數(shù)據(jù)， 你會看到，幾秒之內(nèi)，數(shù)據(jù)流就發(fā)送到Hive表了。

到此，關(guān)于“如何實現(xiàn)從RDBMS到Hadoop的實時流傳輸”的學習就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關(guān)知識，請繼續(xù)關(guān)注億速云網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>