Spark緩存的使用示例分析

本篇內(nèi)容介紹了“Spark緩存的使用示例分析”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

注：因?yàn)槭褂玫氖莾?nèi)部數(shù)據(jù)文件, 在這邊就不公布出來了. 大家看看測(cè)試代碼跟測(cè)試結(jié)果即可。

這次測(cè)試是在JupyterNotebook這種交互式的環(huán)境下測(cè)試的. 如果是直接的submit一個(gè)job, 可能結(jié)果不太一樣。

測(cè)試步驟

初始化Spark

from pyspark.sql import SparkSession  spark = SparkSession\  .builder\  .appName("Cache Demo")\  .master("spark://10.206.132.113:7077") \  .config('spark.driver.memory', '5g') \  .config('spark.executor.memory', '5g') \  .config("spark.cores.max", 20) \  .getOrCreate()

分別讀兩個(gè)文件做測(cè)試, 并且其中一個(gè)使用Cache

ds1 = spark.read.json(os.path.join(data_path, "data.2018-01-04"))  ds2 = spark.read.json(os.path.join(data_path, "data.2018-01-05"))  ds1.cache() # 對(duì)于***個(gè)dataframe進(jìn)行cache.

注: 這兩個(gè)數(shù)據(jù)文件分別是1月4日跟1月5日產(chǎn)生的. 大小非常接近, 都是3.1G.

為了防止Spark自己做了什么Cache影響實(shí)驗(yàn), 在這里讀取兩個(gè)不同的數(shù)據(jù)文件.

計(jì)算時(shí)間：

import time  def calc_timing(ds, app_name) :  t1 = time.time()  related = ds.filter("app_name = '%s'" % app_name)  _1stRow = related.first()  t2 = time.time()  print "cost time:", t2 - t1

測(cè)試結(jié)果：

calc_timing(ds1, "DrUnzip") # cost time: 13.3130679131  calc_timing(ds2, "DrUnzip") # cost time: 18.0472488403  calc_timing(ds1, "DrUnzip") # cost time: 0.868658065796  calc_timing(ds2, "DrUnzip") # cost time: 15.8150720596

可以看到:

• 對(duì)于DS1, 雖然調(diào)用了Cache ,但是因?yàn)闆]有真正的使用到, 所以***次進(jìn)行filter操作還是很慢的

• 第二次使用DS1的時(shí)候, 因?yàn)橛辛司彺? 速度快了很多

• 相對(duì)的, DS2兩次執(zhí)行時(shí)間差別不大

• 如果進(jìn)到Spark UI 查看具體每個(gè)Job的執(zhí)行時(shí)間, 會(huì)發(fā)現(xiàn), 只讀取數(shù)據(jù)文件消耗的時(shí)間也就在15~20s.

因此可以猜想, Spark的DataFrame讀取數(shù)據(jù)之后, 即使進(jìn)行兩個(gè)相同的操作, 消耗的時(shí)間也不能減少, 因?yàn)镾park  默認(rèn)不會(huì)把DS放到內(nèi)存之中.

“Spark緩存的使用示例分析”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！