溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

TextFile分區(qū)問題怎么理解

發(fā)布時(shí)間：2021-12-22 15:02:43 來源：億速云 閱讀：163 作者：iii 欄目：數(shù)據(jù)庫

這篇文章主要介紹“TextFile分區(qū)問題怎么理解”，在日常操作中，相信很多人在TextFile分區(qū)問題怎么理解問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對(duì)大家解答”TextFile分區(qū)問題怎么理解”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

val rdd1 = sc.parallelize(List(2,3,4,1,7,5,6,9,8))
獲取分區(qū)的個(gè)數(shù):rdd1.partitions.length,在spark-shell中沒有指定分區(qū)的個(gè)數(shù)獲取的是默認(rèn)分區(qū)數(shù),除了這個(gè)外parallelize方法可以使用,指定幾個(gè)分區(qū)就會(huì)有幾個(gè)分區(qū)出現(xiàn)

val rdd1 = sc.textFile("hdfs://hadoop02:8020/word.txt",3).flatMap _.split('')).map((_,1)).reduceByKey(_+_)
textFile這個(gè)方法是有默認(rèn)值就是2 除非改變loacl中的即默認(rèn)值這個(gè)只要這個(gè)默認(rèn)值小于2的話會(huì)使用小于默認(rèn)的值

TextFile分區(qū)問題怎么理解

這個(gè)默認(rèn)屬性是有值的defaultMinPartitions

TextFile分區(qū)問題怎么理解

TextFile分區(qū)問題怎么理解

TextFile分區(qū)問題怎么理解

TextFile分區(qū)問題怎么理解

如果在textfile中傳入了分區(qū)數(shù),那么這個(gè)分區(qū)數(shù)可能相同也可能不同需要看底層計(jì)算!

TextFile分區(qū)問題怎么理解

TextFile分區(qū)問題怎么理解

TextFile分區(qū)問題怎么理解

TextFile分區(qū)問題怎么理解

TextFile分區(qū)問題怎么理解

TextFile分區(qū)問題怎么理解

TextFile分區(qū)問題怎么理解

到此，關(guān)于“TextFile分區(qū)問題怎么理解”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！

向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手