溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

RDD操作文件數(shù)據(jù)讀寫的方法是什么

發(fā)布時間：2021-12-20 14:18:35 來源：億速云 閱讀：226 作者：iii 欄目：大數(shù)據(jù)

本篇內(nèi)容主要講解“RDD操作文件數(shù)據(jù)讀寫的方法是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“RDD操作文件數(shù)據(jù)讀寫的方法是什么”吧!

要加載本地文件，必須采用“file:///”開頭的這種格式。執(zhí)行上上面這條命令以后，并不會馬上顯示結(jié)果，因為，Spark采用惰性機制，只有遇到“行動”類型的操作，才會從頭到尾執(zhí)行所有操作。

scala> val textFile = sc.textFile("file:///root/app/spark/input/word.txt")textFile: org.apache.spark.rdd.RDD[String] = file:///root/app/spark/input/word.txt MapPartitionsRDD[87] at textFile at <console>:24scala> textFile.firstres52: String = hello world

first()是一個“行動”（Action）類型的操作，會啟動真正的計算過程，從文件中加載數(shù)據(jù)到變量textFile中，并取出第一行文本。屏幕上會顯示很多反饋信息。
####saveAsTextFile
saveAsTextFile()是一個“行動”（Action）類型的操作，所以，馬上會執(zhí)行真正的計算過程，從word.txt中加載數(shù)據(jù)到變量textFile中

到此，相信大家對“RDD操作文件數(shù)據(jù)讀寫的方法是什么”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學習！

向AI問一下細節(jié)

免責聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實，將立刻刪除涉嫌侵權(quán)內(nèi)容。

rdd
AI
助
手