您好,登錄后才能下訂單哦!
這篇文章主要講解了“Java的Hadoop FileInputFormat實現(xiàn)類有哪些”,文中的講解內(nèi)容簡單清晰,易于學(xué)習(xí)與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學(xué)習(xí)“Java的Hadoop FileInputFormat實現(xiàn)類有哪些”吧!
思考
在運行MapReduce程序時,輸入的文件格式有很多,比如:基于行的日志文件、二進(jìn)制格式文件、數(shù)據(jù)庫表等。那么,針對不同的數(shù)據(jù)類型,MapReduce是怎么讀取這些數(shù)據(jù)的呢?
FileInputFormat常見的接口實現(xiàn)類包括:TextInputFormat,KeyValueTextInputFormat,NLineInputFormat,CombineTextInputFormat和自定義InputFormat等。
1.TextInputFormat
TextInputFormat是默認(rèn)的FileInputFormat實現(xiàn)類。按行讀取每條記錄。鍵是存儲該行在整個文件中的起始字節(jié)偏移量, LongWritable類型。值是這行的內(nèi)容,不包括任何行終止符(換行符和回車符),Text類型。
以下是一個示例,比如,一個分片包含了如下4條文本記錄。
Rich learning formIntelligent learning engineLearning more convenientFrom the real demand for more close to the enterprise
每條記錄表示為以下鍵/值對:
(0,Rich learning form)(19,Intelligent learning engine)(47,Learning more convenient)(72,From the real demand for more close to the enterprise)
2.KeyValueTextInputFormat
每一行均為一條記錄,被分隔符分割為key,value??梢酝ㄟ^在驅(qū)動類中設(shè)置conf.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR, "\t");來設(shè)定分隔符。默認(rèn)分隔符是tab(\t)。
以下是一個示例,輸入是一個包含4條記錄的分片。其中——>表示一個(水平方向的)制表符。
line1 ——>Rich learning formline2 ——>Intelligent learning engineline3 ——>Learning more convenientline4 ——>From the real demand for more close to the enterprise
每條記錄表示為以下鍵/值對:
(line1,Rich learning form)(line2,Intelligent learning engine)(line3,Learning more convenient)(line4,From the real demand for more close to the enterprise)
注意:此時的鍵是每行排在制表符之前的Text序列。
3.NLineInputFormat
如果使用NlineInputFormat,代表每個map進(jìn)程處理的InputSplit不再按Block塊去劃分,而是按NlineInputFormat指定的行數(shù)N來劃分。即輸入文件的總行數(shù)/N=切片數(shù),如果不整除,切片數(shù)=商+1。
以下是一個示例,仍然以上面的4行輸入為例。
Rich learning formIntelligent learning engineLearning more convenientFrom the real demand for more close to the enterprise
例如,如果N是2,則每個輸入分片包含兩行。開啟2個MapTask。
(0,Rich learning form)(19,Intelligent learning engine)
另一個 mapper 則收到后兩行:
(47,Learning more convenient)(72,From the real demand for more close to the enterprise)
這里的鍵和值與TextInputFormat生成的一樣。
感謝各位的閱讀,以上就是“Java的Hadoop FileInputFormat實現(xiàn)類有哪些”的內(nèi)容了,經(jīng)過本文的學(xué)習(xí)后,相信大家對Java的Hadoop FileInputFormat實現(xiàn)類有哪些這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是億速云,小編將為大家推送更多相關(guān)知識點的文章,歡迎關(guān)注!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。