溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶(hù)服務(wù)條款》

如何使用apache pig 處理chukwa收集的數(shù)據(jù)

發(fā)布時(shí)間：2021-11-10 18:50:32 來(lái)源：億速云 閱讀：140 作者：柒染 欄目：云計(jì)算

如何使用apache pig 處理chukwa收集的數(shù)據(jù)，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。

        公司使用chukwa收集每個(gè)服務(wù)器數(shù)據(jù)的，數(shù)據(jù)收集到的hdfs以后被寫(xiě)成sequencefile,想用pig處理這些數(shù)據(jù)，pig本身不支持這種數(shù)據(jù)結(jié)構(gòu)的，查看chukwa源碼發(fā)現(xiàn)，本身有帶有pig腳本，是hicc用來(lái)做數(shù)據(jù)統(tǒng)計(jì)的腳本，hicc一直不好使，也懶得搭理這玩意。

        1、chukwa/script/pig/DF.pig

                define chukwaLoader org.apache.hadoop.chukwa.pig.ChukwaLoader();

               源碼在：chukwa/contrib/chukwa-pig下邊

        本身chkwa支持的pig版本比較老，使用pig腳本加載這個(gè)jar包，執(zhí)行壓根不好使,把代碼放到pig下進(jìn)行編譯，就可以直接使用了。

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝您對(duì)億速云的支持。

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手