溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章主要講解了“spark中的RDD是什么”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“spark中的RDD是什么”吧！
RDD是什么
Spark是圍繞彈性分布式數(shù)據(jù)集（RDD）的概念展開的，RDD是一種容錯(cuò)的可分布式操作的數(shù)據(jù)集合。有兩中方式可以創(chuàng)建RDD：一種是將驅(qū)動(dòng)程序中的已有集合平行化；另外一種是引用外部存儲(chǔ)系統(tǒng)的數(shù)據(jù)集，例如共享文件系統(tǒng)，HDFS, HBase, 或者其他類似Hadoop的數(shù)據(jù)源。
RDD的特點(diǎn)之一是分布式存儲(chǔ)，它的好處就是數(shù)據(jù)存儲(chǔ)在不同的節(jié)點(diǎn)上，當(dāng)需要數(shù)據(jù)進(jìn)行計(jì)算的時(shí)候可以在這些節(jié)點(diǎn)上并行操作。彈性表現(xiàn)在節(jié)點(diǎn)在存儲(chǔ)RDD數(shù)據(jù)的時(shí)候，既可以存儲(chǔ)在內(nèi)存中，也可以存儲(chǔ)在磁盤上，也可以兩者結(jié)合使用。RDD還有個(gè)特點(diǎn)就是延遲計(jì)算，當(dāng)是transformation算子的時(shí)候，并不執(zhí)行操作，直到遇到action算子的時(shí)候才開始執(zhí)行計(jì)算。
感謝各位的閱讀，以上就是“spark中的RDD是什么”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)spark中的RDD是什么這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼
