大數(shù)據(jù)的一指禪--Hcatalog

   Hcatalog盡管作為一個(gè)子項(xiàng)目，卻給整個(gè)Hadoop生態(tài)環(huán)境帶來(lái)了一股清流，它讓數(shù)據(jù)的訪問(wèn)不再雜亂無(wú)章，那么Hcatalog有什么樣的作用呢？它是怎樣統(tǒng)一定義數(shù)據(jù)的呢？

HCatalog是用來(lái)訪問(wèn)Metastore的Hive子項(xiàng)目，它的存在給了整個(gè)Hadoop生態(tài)環(huán)境一個(gè)統(tǒng)一的定義。

為什么這樣說(shuō)呢？在整個(gè)生態(tài)中，使用HDFS的項(xiàng)目是很多的，比如Hive、Pig、Spark，它們會(huì)去使用同樣一個(gè)HDFS的數(shù)據(jù)。當(dāng)它們?cè)L問(wèn)數(shù)據(jù)的時(shí)候，Hive可能會(huì)將數(shù)據(jù)解析為整型，Pig解析成String類(lèi)型，Spark解析成其它的類(lèi)型，所以這個(gè)定義并沒(méi)有統(tǒng)一起來(lái)。而Hcatalog就可以統(tǒng)一給一個(gè)定義，例如數(shù)據(jù)定義為整型，所有項(xiàng)目通過(guò)Hcatalog來(lái)訪問(wèn)數(shù)據(jù)，訪問(wèn)到的數(shù)據(jù)類(lèi)型就都為整型。

Hcatalog可以通過(guò)命令行及RESTAPI來(lái)訪問(wèn)，允許你使用HiveQLDDL語(yǔ)法來(lái)定義表。從Hive、Impala、MapReduce、Pig和其他工具來(lái)訪問(wèn)表，包含在CDH4.2及之后的版本中。

• 在HCatalog中創(chuàng)建表

（1）HCatalog使用Hive的DDL語(yǔ)法，可以使用-e選項(xiàng)來(lái)指定單個(gè)命令。

（2）Tip：保存很長(zhǎng)的命令為文件，使用-f選項(xiàng). 如果文件中包含多條語(yǔ)句，使用分號(hào)分隔

• 在HCatalog里查看元數(shù)據(jù)

（1）SHOW TABLES命令也可以直接查看表

（2）DESCRIBE命令列出指定表的字段，允許你使用HiveQLDDL語(yǔ)法來(lái)定義表

• 在HCatalog里移除表

（1）DROP TABLE命令跟Hive和Impala里一樣

注意：將同時(shí)移除數(shù)據(jù)和元數(shù)據(jù)（除了外部表）

我們?cè)谄匠W(xué)習(xí)的過(guò)程中就要重視此類(lèi)子項(xiàng)目的使用以及它們的作用，掌握和理解它們對(duì)于我們更好的掌握大數(shù)據(jù)技術(shù)有著重要的意義。我平時(shí)喜歡關(guān)注微信資訊平臺(tái)“大數(shù)據(jù)cn”，關(guān)注一些大數(shù)據(jù)的最新信息及一些知識(shí)經(jīng)驗(yàn)分享，改善了我自己的知識(shí)架構(gòu)。