數(shù)據(jù)集成：Flume和Sqoop

Flume和Sqoop是Hadoop數(shù)據(jù)集成和收集系統(tǒng)，兩者的定位不一樣，下面根據(jù)個人的經(jīng)驗與理解和大家做一個介紹：

Flume由cloudera開發(fā)出來，有兩大產(chǎn)品：Flume-og和Flume-ng，Flume-og的架構(gòu)過于復(fù)雜，在尋問當中會有數(shù)據(jù)丟失，所以放棄了?，F(xiàn)在我們使用的是Flume-ng，主要是日志采集，這個日志可以是TCP的系統(tǒng)的日志數(shù)據(jù)，可以是文件數(shù)據(jù)（就是通常我們在Intel服務(wù)器，通過其中的機構(gòu)傳過來的接口，或者通過防火墻采集過來的日志），在HDFS上去存儲，可以和kafka進行集成，這就是Flume的功能。     

Flume架構(gòu)是分布式，可以根據(jù)需要進行擴展Flume的節(jié)點和數(shù)量。它的擴展有兩個含義：一個是橫向的，根據(jù)原數(shù)據(jù)源的個數(shù)、種類不同進行擴展；第二個就是縱向的，可以增加更多的匯聚層，去做更多的過程的數(shù)據(jù)處理，而不是數(shù)據(jù)加載進來之后再進行轉(zhuǎn)換。

Flume的性能高可靠并且高可用的，可靠性主要體現(xiàn)在兩個方面：一方面就是有一份數(shù)據(jù)比較重要，為了保證數(shù)據(jù)傳輸?shù)目煽啃?，可以兩個agent指向這份數(shù)據(jù)，而且兩個agent可以進行示范切換，如果其中一個失敗，另一個還可以進行傳輸。另一方面就是在agent的內(nèi)部可以做緩存通透區(qū)，接收到數(shù)據(jù)可以存到磁盤，放到數(shù)據(jù)庫，縱使agent出問題，數(shù)據(jù)依然存在。

Flume是做日志采集的，但是更多的數(shù)據(jù)是從結(jié)構(gòu)化數(shù)據(jù)庫過來的，這時我們就需要Sqoop。Sqoop是關(guān)系型數(shù)據(jù)庫和HDFS之間的一個橋梁，可以實現(xiàn)數(shù)據(jù)在關(guān)系型數(shù)據(jù)庫與HDFS之間的一個傳送。那么我們什么時候?qū)?shù)據(jù)傳遞到HDFS呢？主要是把新增交易，新增賬戶加載過來，寫的時候除了hdfs,還可以寫hive,甚至可以直接去建表。而且可以在源數(shù)據(jù)庫設(shè)立是導整個數(shù)據(jù)庫，還是導某一個表，或者導特定的列，這都是常見的在數(shù)據(jù)倉庫中進行的ETL.

sqoop允許增量導入，增量有兩種，一種是直接追加（比如新增訂單、交易可以追加）；另一種是狀態(tài)的改變，比如一個客戶之前是白名單客戶，還款很好，但是如果某個月逾期，加入黑名單，后期還款了又回到白名單，狀態(tài)在不停改變，那么就不能再和交易等一樣做追加，這個時候需要做的就是拉鏈。需要一個修改的日期，那么這個狀態(tài)有沒有修改，如果修改了，那么之前加載的怎么辦？可以通過sqoop進行配置，加載的時候讓它們在Hadoop里面進行更新。我們知道HDFS文件不能更新，這個時候進行文件合并，通過合并的方式把文本的數(shù)據(jù)清除。

數(shù)據(jù)什么時候?qū)С瞿兀繉С鰯?shù)據(jù)就在于Hadoop里面分析好的數(shù)據(jù)，我們可能需要下載一個數(shù)據(jù)集市，基于這個集市把數(shù)據(jù)導出來，所以sqoop也可以把數(shù)據(jù)導出。sqoop導出的機制是：默認的是mysql，mysql 效率較低，那么選擇第二種方式---直接模式，利用數(shù)據(jù)庫本身提供的一些導出工具。但是這些導出工具的效率還不夠高，更高的就是專業(yè)的定制的連接器，目前定制的連接器有MySQL、Postgres、Netezza、Teradata、Oracle。

    以上就是根據(jù)自己的一些學習和工作經(jīng)驗總結(jié)的關(guān)于Flume和Sqoop的相關(guān)知識，有些具體的知識這里沒有多涉及，如果想了解的可以自己去學習。我自己平常也會去關(guān)注“大數(shù)據(jù)cn”和“大數(shù)據(jù)時代學習中心”這些微信公眾號，里面分享的一些資訊和知識點對我有很大的幫助，推薦大家去看看，期望共同進步！