#
數(shù)據(jù)分區(qū)分為兩種，動(dòng)態(tài)分區(qū)和靜態(tài)分區(qū)，那么兩種分區(qū)是怎樣創(chuàng)建的呢？它們各自怎么來(lái)使用呢？一、動(dòng)態(tài)分區(qū)1、從已有的數(shù)據(jù)動(dòng)態(tài)創(chuàng)建新的分區(qū)2、分區(qū)基于最后一個(gè)列值自動(dòng)創(chuàng)建，如果分區(qū)
HIVE是不支持TRUNCATE或者DELETE一個(gè)分區(qū)的，不過(guò)有一種代償?shù)姆绞絘lter table v_log_ods drop partition(day='2015-05-31',gt='lo
昨天開(kāi)發(fā)找到我們DBA，要我們寫(xiě)一條Hive SQL。需求：有一個(gè)t表，主要有機(jī)場(chǎng)名稱(chēng)airport，機(jī)場(chǎng)的經(jīng)緯度distance這兩個(gè)列組成，想得到所有距離小于100的兩個(gè)機(jī)場(chǎng)名。其實(shí)寫(xiě)這個(gè)SQL的
一.臨時(shí)添加UDF函數(shù) 1.上傳jar包至hive服務(wù)器 2.hive shell執(zhí)行如下命令： add jar /
大數(shù)據(jù)定義是：大量的非結(jié)構(gòu)話(huà)的數(shù)據(jù)。量要大，要非結(jié)構(gòu)化。Hadoop 分三部分組成，1.hdfs hadoop分布式文件系統(tǒng)。2.MapReduce 分布式計(jì)算。3.hive 分布式存儲(chǔ)。操作系統(tǒng)：c
0. 引言 hadoop 集群，初學(xué)者順利將它搭起來(lái)，肯定要經(jīng)過(guò)很多的坑。經(jīng)過(guò)一個(gè)星期的折騰，我總算將集群正常跑起來(lái)了，所以，想將集群搭建的過(guò)程整理記錄，分享出來(lái)，讓大家作一個(gè)參考。由于搭建過(guò)程比較漫
接下來(lái)做的操作是：（這個(gè)操作，將程序打成jar包到集群中運(yùn)行）（1）編寫(xiě)spark程序在線(xiàn)上的hive中創(chuàng)建表并導(dǎo)入數(shù)據(jù)（2）查詢(xún)hive中的數(shù)據(jù)（3）將查詢(xún)結(jié)果保存到MySQL中代碼： object
HBase shell使用過(guò)程中，使用CRT客戶(hù)端，命令輸入后無(wú)法刪除解決方案： options-->session options -- >
項(xiàng)目GitHub地址：https://github.com/heibaiying/BigData-Notes 前 言 大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖 大數(shù)據(jù)常用軟件安裝指南 一、Had
簡(jiǎn)介：如果一個(gè)表中數(shù)據(jù)很多，我們查詢(xún)時(shí)就很慢，耗費(fèi)大量時(shí)間，如果要查詢(xún)其中部分?jǐn)?shù)據(jù)該怎么辦呢，這時(shí)我們引入分區(qū)的概念。Hive中的分區(qū)表分為兩種：靜態(tài)分區(qū)和動(dòng)態(tài)分區(qū)。 1.靜態(tài)分區(qū): 可以根據(jù)PAR
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼