解密數(shù)據(jù)分區(qū)

   數(shù)據(jù)分區(qū)分為兩種，動(dòng)態(tài)分區(qū)和靜態(tài)分區(qū)，那么兩種分區(qū)是怎樣創(chuàng)建的呢？它們各自怎么來使用呢？

一、動(dòng)態(tài)分區(qū)

1、從已有的數(shù)據(jù)動(dòng)態(tài)創(chuàng)建新的分區(qū)

2、分區(qū)基于最后一個(gè)列值自動(dòng)創(chuàng)建，如果分區(qū)不存在，它將被創(chuàng)建；

如果分區(qū)存在，將被覆蓋。

二、靜態(tài)分區(qū)

1、 靜態(tài)分區(qū)示例：按天分區(qū)呼叫日志

Loudacre的客戶服務(wù)電話系統(tǒng)生成了詳細(xì)的呼叫日志，分析員使用這些數(shù)據(jù)來匯總前一天的呼叫量，比如：

日志按天生成，比如：

在上面的的示例中，數(shù)據(jù)基于列值自動(dòng)分區(qū)?，F(xiàn)在我們使用靜態(tài)分區(qū)，

因?yàn)閿?shù)據(jù)文件不包含分區(qū)數(shù)據(jù)，分區(qū)表按照同樣的方式來定義：

2、加載數(shù)據(jù)到靜態(tài)分區(qū)

使用靜態(tài)分區(qū)，你可以根據(jù)需要?jiǎng)?chuàng)建新分區(qū)，比如：為每天的呼叫日志數(shù)據(jù)添加一個(gè)分區(qū)：

這個(gè)命令將添加分區(qū)到表的元數(shù)據(jù)，并創(chuàng)建子目錄：
/user/hive/warehouse/call_logs/call_date=2014-10-02

然后加載一天的數(shù)據(jù)到正確的分區(qū)

這個(gè)命令移動(dòng)HDFS文件call-20141002.log到分區(qū)子目錄

3、覆蓋分區(qū)的所有數(shù)據(jù)

以上就是關(guān)于動(dòng)態(tài)分區(qū)和靜態(tài)分區(qū)的介紹，那么在Impala和Hive中，數(shù)據(jù)是怎樣分區(qū)的呢？后續(xù)將繼續(xù)分享。不過技術(shù)都是有門檻的，大家在實(shí)際生活中要多學(xué)習(xí)和交流，不斷汲取別人好的經(jīng)驗(yàn)知識(shí)，改善自己的知識(shí)架構(gòu)。而且當(dāng)今大數(shù)據(jù)還在發(fā)展中，各方面不算是很成熟，更需要不斷去追求，才可以不落伍，這里推薦一個(gè)微信公眾號(hào)“大數(shù)據(jù)cn”,還不錯(cuò)，有時(shí)間可以去關(guān)注一下。