Pig和Hive的區(qū)別是什么

本篇內(nèi)容介紹了“Pig和Hive的區(qū)別是什么”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

    Pig是一種編程語言，它簡(jiǎn)化了Hadoop常見的工作任務(wù)。Pig可加載數(shù)據(jù)、表達(dá)轉(zhuǎn)換數(shù)據(jù)以及存儲(chǔ)最終結(jié)果。Pig內(nèi)置的操作使得半結(jié)構(gòu)化數(shù)據(jù)變得有意義（如日志文件）。同時(shí)Pig可擴(kuò)展使用Java中添加的自定義數(shù)據(jù)類型并支持?jǐn)?shù)據(jù)轉(zhuǎn)換。
 
    Hive在Hadoop中扮演數(shù)據(jù)倉庫的角色。Hive添加數(shù)據(jù)的結(jié)構(gòu)在HDFS（hive superimposes structure on data in HDFS），并允許使用類似于SQL語法進(jìn)行數(shù)據(jù)查詢。與Pig一樣，Hive的核心功能是可擴(kuò)展的。
 
    Hive更適合于數(shù)據(jù)倉庫的任務(wù)，Hive主要用于靜態(tài)的結(jié)構(gòu)以及需要經(jīng)常分析的工作。Hive與SQL相似促使其成為Hadoop與其他BI工具結(jié)合的理想交集。Pig賦予開發(fā)人員在大數(shù)據(jù)集領(lǐng)域更多的靈活性，并允許開發(fā)簡(jiǎn)潔的腳本用于轉(zhuǎn)換數(shù)據(jù)流以便嵌入到較大的應(yīng)用程序。Pig相比Hive相對(duì)輕量，它主要的優(yōu)勢(shì)是相比于直接使用Hadoop Java APIs可大幅削減代碼量。
 
本質(zhì)上說說Pig與Hive。
    經(jīng)過Pig Latin的轉(zhuǎn)換后變成了一道MapReduce的作業(yè)，通過MapReduce多個(gè)線程，進(jìn)程或者獨(dú)立系統(tǒng)并行執(zhí)行處理的結(jié)果集進(jìn)行分類和歸納。Map() 和 Reduce() 兩個(gè)函數(shù)會(huì)并行運(yùn)行，即使不是在同一的系統(tǒng)的同一時(shí)刻也在同時(shí)運(yùn)行一套任務(wù)，當(dāng)所有的處理都完成之后，結(jié)果將被排序，格式化，并且保存到一個(gè)文件。Pig利用MapReduce將計(jì)算分成兩個(gè)階段，第一個(gè)階段分解成為小塊并且分布到每一個(gè)存儲(chǔ)數(shù)據(jù)的節(jié)點(diǎn)上進(jìn)行執(zhí)行，對(duì)計(jì)算的壓力進(jìn)行分散，第二個(gè)階段聚合第一個(gè)階段執(zhí)行的這些結(jié)果，這樣可以達(dá)到非常高的吞吐量，通過不多的代碼和工作量就能夠驅(qū)動(dòng)上千臺(tái)機(jī)器并行計(jì)算，充分的利用計(jì)算機(jī)的資源，打消運(yùn)行中的瓶頸。
 
    也就是說，Pig最大的作用就是對(duì)mapreduce算法(框架)實(shí)現(xiàn)了一套shell腳本 ，類似我們通常熟悉的SQL語句，在Pig中稱之為Pig Latin，在這套腳本中我們可以對(duì)加載出來的數(shù)據(jù)進(jìn)行排序、過濾、求和、分組(group by)、關(guān)聯(lián)(Joining)，Pig也可以由用戶自定義一些函數(shù)對(duì)數(shù)據(jù)集進(jìn)行操作，也就是傳說中的UDF(user-defined functions)。
    結(jié)論性的閱讀感覺是：Pig用來寫一些即時(shí)腳本吧，比如領(lǐng)導(dǎo)問你要份數(shù)據(jù)，半個(gè)小時(shí)要出來之類；Hive嘛，就是一個(gè)產(chǎn)品經(jīng)理過來，問這個(gè)啥回事?于是你Hive一下，一個(gè)簡(jiǎn)潔的類SQL語句...Done！

“Pig和Hive的區(qū)別是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！