溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

Java的Hadoop FileInputFormat實現(xiàn)類有哪些

發(fā)布時間:2021-12-09 14:24:22 來源:億速云 閱讀:160 作者:iii 欄目:大數(shù)據(jù)

這篇文章主要講解了“Java的Hadoop FileInputFormat實現(xiàn)類有哪些”,文中的講解內(nèi)容簡單清晰,易于學(xué)習(xí)與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學(xué)習(xí)“Java的Hadoop FileInputFormat實現(xiàn)類有哪些”吧!

思考

在運行MapReduce程序時,輸入的文件格式有很多,比如:基于行的日志文件、二進(jìn)制格式文件、數(shù)據(jù)庫表等。那么,針對不同的數(shù)據(jù)類型,MapReduce是怎么讀取這些數(shù)據(jù)的呢?

FileInputFormat常見的接口實現(xiàn)類包括:TextInputFormat,KeyValueTextInputFormat,NLineInputFormat,CombineTextInputFormat和自定義InputFormat等。

1.TextInputFormat

TextInputFormat是默認(rèn)的FileInputFormat實現(xiàn)類。按行讀取每條記錄。鍵是存儲該行在整個文件中的起始字節(jié)偏移量, LongWritable類型。值是這行的內(nèi)容,不包括任何行終止符(換行符和回車符),Text類型。

以下是一個示例,比如,一個分片包含了如下4條文本記錄。

Rich learning formIntelligent learning engineLearning more convenientFrom the real demand for more close to the enterprise

每條記錄表示為以下鍵/值對:

(0,Rich learning form)(19,Intelligent learning engine)(47,Learning more convenient)(72,From the real demand for more close to the enterprise)

2.KeyValueTextInputFormat

每一行均為一條記錄,被分隔符分割為key,value??梢酝ㄟ^在驅(qū)動類中設(shè)置conf.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR, "\t");來設(shè)定分隔符。默認(rèn)分隔符是tab(\t)。

以下是一個示例,輸入是一個包含4條記錄的分片。其中——>表示一個(水平方向的)制表符。

line1 ——>Rich learning formline2 ——>Intelligent learning engineline3 ——>Learning more convenientline4 ——>From the real demand for more close to the enterprise

每條記錄表示為以下鍵/值對:

(line1,Rich learning form)(line2,Intelligent learning engine)(line3,Learning more convenient)(line4,From the real demand for more close to the enterprise)

注意:此時的鍵是每行排在制表符之前的Text序列。

 3.NLineInputFormat

如果使用NlineInputFormat,代表每個map進(jìn)程處理的InputSplit不再按Block塊去劃分,而是按NlineInputFormat指定的行數(shù)N來劃分。即輸入文件的總行數(shù)/N=切片數(shù),如果不整除,切片數(shù)=商+1。

以下是一個示例,仍然以上面的4行輸入為例。

Rich learning formIntelligent learning engineLearning more convenientFrom the real demand for more close to the enterprise

例如,如果N是2,則每個輸入分片包含兩行。開啟2個MapTask。

(0,Rich learning form)(19,Intelligent learning engine)

另一個 mapper 則收到后兩行:

(47,Learning more convenient)(72,From the real demand for more close to the enterprise)

這里的鍵和值與TextInputFormat生成的一樣。

感謝各位的閱讀,以上就是“Java的Hadoop FileInputFormat實現(xiàn)類有哪些”的內(nèi)容了,經(jīng)過本文的學(xué)習(xí)后,相信大家對Java的Hadoop FileInputFormat實現(xiàn)類有哪些這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是億速云,小編將為大家推送更多相關(guān)知識點的文章,歡迎關(guān)注!

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI