Sqoop新品來了

Sqoop盡管穩(wěn)定的應(yīng)用于生產(chǎn)環(huán)境很多年，但是它自身存在的一些缺陷給實(shí)際操作帶來了不便。Sqoop2便成為了研究使用的對象，那么Sqoop2有什么優(yōu)勢呢？

首先我們先來了解一下Sqoop的使用情況，使用Sqoop數(shù)據(jù)不會出現(xiàn)丟失，而且Sqoop功能強(qiáng)大，可以將數(shù)據(jù)導(dǎo)到HDFS，Hbase，Hive等各種連接器，但Sqoop是純客戶端的體系架構(gòu)，這樣就會帶來很多的問題：

（1）客戶端需要連接關(guān)系型數(shù)據(jù)庫，這就需要每一個客戶端都配置一個連接器?？蛻舳嗽蕉?，那么相應(yīng)的每個客戶端相應(yīng)的配置也就越多，操作麻煩。

（2）需要用戶的用戶密碼，可是Sqoop在執(zhí)行操作的過程中，密碼會明文的出現(xiàn)，操作不安全。

（3）很難在外部應(yīng)用中集成命令行借口。

（4）跟JDBC語義緊密結(jié)合，無法訪問NoSQL數(shù)據(jù)庫

而Sqoop2就是在原有Sqoop基礎(chǔ)上增加了Server端，那么我們是不是可以把連接器統(tǒng)一配置到Server端，是不是可以把連接數(shù)據(jù)庫的配置項(xiàng)統(tǒng)一維護(hù)起來，是不是可以把用戶的密碼統(tǒng)一的保存起來？當(dāng)然，Sqoop2可以很好地解決這些問題。Sqoop2的優(yōu)勢：

 （1）    客戶端只需要連接到Sqoop服務(wù)器

 （2）    管理員配置好DB連接

 （3）   最終用戶不再需要處理數(shù)據(jù)庫認(rèn)證

 （4）   集中審計(jì)跟蹤

 （5）   更好的資源管理

 （6）   可以通過CLI，REST API和Web UI訪問Sqoop服務(wù)

可是目前Sqoop2還在開發(fā)當(dāng)中，它的方向是好的，但是它的一些功能和特性還沒有出現(xiàn)在我們的實(shí)際應(yīng)用中，比如Sqoop的一些功能在Sqoop2里面還不能夠使用，像導(dǎo)數(shù)據(jù)到Hbase就不能使用，盡管Sqoop2跟Sqoop沒有完全相等的特性，但是它已實(shí)現(xiàn)的特性被認(rèn)為是穩(wěn)定的。那么在實(shí)際使用中，Sqoop和Sqoop2如何選擇使用呢？優(yōu)先推薦使用Sqoop2，除非缺失某些特性再去選擇使用Sqoop。

這就是我對于sqoop2的一些認(rèn)知和理解，但是sqoop2畢竟還不是一款成熟的產(chǎn)品，也期待我們大家可以一起交流共享。我自平時喜歡關(guān)注微信公眾號“大數(shù)據(jù)cn”“大數(shù)據(jù)時代學(xué)習(xí)中心”，里面有很多經(jīng)典介紹，對于汲取各方面知識來講還不錯。大家在平時的自我提升中，也要多交流溝通，對于改善自己的知識架構(gòu)來說也有著重要的促進(jìn)意義。