如何進(jìn)行spark SQL編程動手實(shí)戰(zhàn)

發(fā)布時間：2021-12-16 22:03:39 來源：億速云閱讀：124 作者：柒染欄目：云計(jì)算

如何進(jìn)行spark SQL編程動手實(shí)戰(zhàn)，相信很多沒有經(jīng)驗(yàn)的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

首先創(chuàng)建SparkContext上下文：

接著引入隱身轉(zhuǎn)換，用于把RDD轉(zhuǎn)成SchemaRDD:

如何進(jìn)行spark SQL編程動手實(shí)戰(zhàn)

接下來要加載數(shù)據(jù)，這里的測試數(shù)據(jù)是user.txt文件：

我們創(chuàng)建好use.txt增加內(nèi)容并上傳到hdfs中：

如何進(jìn)行spark SQL編程動手實(shí)戰(zhàn)

hdfs命令查詢：

如何進(jìn)行spark SQL編程動手實(shí)戰(zhàn)

驗(yàn)證數(shù)據(jù)是否加載成功：

如何進(jìn)行spark SQL編程動手實(shí)戰(zhàn)

此刻user還是一個MappedRDD:

如何進(jìn)行spark SQL編程動手實(shí)戰(zhàn)

此刻的teenagers已經(jīng)隱身轉(zhuǎn)換成SchemaRDD

如何進(jìn)行spark SQL編程動手實(shí)戰(zhàn)

結(jié)果：

如何進(jìn)行spark SQL編程動手實(shí)戰(zhàn)

同樣使用"user.txt"的數(shù)據(jù)：

如何進(jìn)行spark SQL編程動手實(shí)戰(zhàn)

我們這次直接使用SQL查詢操作：

如何進(jìn)行spark SQL編程動手實(shí)戰(zhàn)

可以發(fā)現(xiàn)使用DSL的使用teenagers在內(nèi)部已經(jīng)被隱身轉(zhuǎn)換了SchemaRDD的實(shí)例

可以發(fā)現(xiàn)與前面那張注冊Table方式的結(jié)果是一樣的

看完上述內(nèi)容，你們掌握如何進(jìn)行spark SQL編程動手實(shí)戰(zhàn)的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！

向AI問一下細(xì)節(jié)

猜你喜歡