如何分析Apache Spark數(shù)據(jù)建模中的時(shí)間維度

如何分析Apache Spark數(shù)據(jù)建模中的時(shí)間維度，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

數(shù)據(jù)建模是數(shù)據(jù)分析重要的組成之一，正確的建立模型有助于用戶更好地解答業(yè)務(wù)相關(guān)的問題。在過去幾十年中，數(shù)據(jù)建模技術(shù)也一直是SQL數(shù)據(jù)倉庫的基礎(chǔ)。

Apache Spark作為新一代的數(shù)倉技術(shù)的代表，我們能夠在 Spark 中使用早期的數(shù)據(jù)建模技術(shù)。這使得Spark data pineline 更加有效。下面我將討論spark中不同的數(shù)據(jù)建模。

多個(gè)日期列

單一日期列在許多數(shù)據(jù)集中很常見。有些數(shù)據(jù)集可能需要針對(duì)多個(gè)日期列分析數(shù)據(jù)。那么在之前的文章中所討論的策略是不夠的。因此，我們需要擴(kuò)展日期維度邏輯來容納多個(gè)日期列。

將發(fā)行日期添加到股票數(shù)據(jù)

下面的代碼向股票數(shù)據(jù)添加了一個(gè)名為issue_date的日期列，以模擬多個(gè)日期的場景。

val appleStockDfWithIssueDate = appleStockDf.      withColumn("issue_date",add_months(appleStockDf("Date"),-12))

現(xiàn)在，如果用戶希望根據(jù)表示交易日期的日期列和表示給定股票何時(shí)發(fā)行的發(fā)布日期列進(jìn)行分析，那么我們需要使用多個(gè)日期維。

帶有新前綴的日期維度

為了分析多個(gè)日期，我們需要多次連接日期維度。我們需要使用不同前綴的數(shù)據(jù)維來創(chuàng)建視圖，這樣我們就可以完成相同的工作。

val issueDateSchema = StructType(dateDf.schema.fields.map(value =>value.copy(name = "issue_"+value.name)))
val issueDf = sparkSession.createDataFrame(dateDf.rdd, issueDateSchema)

在上面的代碼中，我們創(chuàng)建了一個(gè)名為issueDf的新df，它為所有列添加了一個(gè)名為issue的前綴，表示將這個(gè)日期維度組合為issue_date。

三路join

一旦我們準(zhǔn)備好了新的日期維度，現(xiàn)在我們就可以連接股票數(shù)據(jù)中的兩個(gè)日期了。

val twoJoinDf = appleStockDfWithIssueDate.join(dateDf, appleStockDfWithIssueDate.col("Date") ===       dateDf.col("full_date_formatted"))             .join(issueDf, appleStockDfWithIssueDate.col("issue_date") === issueDf.col("issue_full_date_formatted"))

發(fā)行日期分析

一旦我們做了連接，我們可以分析發(fā)行日期如下

twoJoinDf.groupBy("issue_year","issue_quarter").      avg("Close").            sort("issue_year","issue_quarter")              .show()

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注億速云行業(yè)資訊頻道，感謝您對(duì)億速云的支持。