Spark examples源碼分析

這篇文章主要介紹“Spark examples源碼分析”，在日常操作中，相信很多人在Spark examples源碼分析問題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Spark examples源碼分析”的疑惑有所幫助！接下來，請(qǐng)跟著小編一起來學(xué)習(xí)吧！

SparkSQLExample

private def runBasicDataFrameExample(spark: SparkSession): Unit = {

    val df = spark.read.json("hdfs://master:9000/sparkfiles/people.json")
    df.show()
    import spark.implicits._
    df.printSchema()
    df.select("name").show()
    df.select($"name", $"age" + 1).show()
    df.filter($"age" > 21).show()
    df.groupBy("age").count().show()
    df.createOrReplaceTempView("people")

    val sqlDF = spark.sql("SELECT * FROM people")
    sqlDF.show()

}

people.json的文件內(nèi)容如下所示：

{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}

首先是讀取文件，構(gòu)建一個(gè)DataFrame，而DataFrame定義在package object sql當(dāng)中，其實(shí)質(zhì)上是Dataset[Row]的別名。

之后我們看一下df.show()，它的輸出是這個(gè)樣子的（真不嫌麻煩）：

df.printSchema()輸出的是json的結(jié)構(gòu)信息：

df.select("name").show()，對(duì)于select方法而言，返回的還是一個(gè)DataFrame，當(dāng)中只包含一列name。

df.select($"name", $"age" + 1).show()，返回一個(gè)DataFrame，所有人的年齡+1。

df.groupBy("age").count().show()，這行代碼我們需要詳細(xì)說一下，首先，groupBy的返回值是一個(gè)RelationalGroupedDataset， A set of methods for aggregations on a DataFrame, created by Dataset.groupBy. 當(dāng)中提供了min，max，count等等聚合函數(shù)。count的結(jié)構(gòu)又是一個(gè)DataFrame

最后一段很有趣，可以臨時(shí)創(chuàng)建一個(gè)view，然后用sql進(jìn)行查詢。

df.createOrReplaceTempView("people")

val sqlDF = spark.sql("SELECT * FROM people")
sqlDF.show()

到此，關(guān)于“Spark examples源碼分析”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注億速云網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)砀鄬?shí)用的文章！