Spark的mapWithState解密方法是什么

這篇文章主要講解了“Spark的mapWithState解密方法是什么”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Spark的mapWithState解密方法是什么”吧！

updateStateByKey和mapWithState方法在DStream中找不到，需要進行隱式轉(zhuǎn)換，轉(zhuǎn)換為PairDStreamFunctions對象。

updateStateByKey是在已有的狀態(tài)下進行更新操作。Seq[V]中存放歷史數(shù)據(jù)，Option[S]存放新值，可能沒有值。使用了默認的Partitioner函數(shù)，HashPartitioner。

StateDStream繼承DStream，使用MEMORY_ONLY_SER的方式作為存儲級別。

StateDStream的compute方法，如果parent存在則調(diào)用computeUsingPreviousRDD方法，如果不存在調(diào)用preStateRDD的mapPartitions方法。

computeUsingPreviousRDD方法中，parentRDD和之前的RDD進行cogroup操作，根據(jù)Key對Value進行聚合，基于Key對所有的Value進行掃描，當(dāng)數(shù)據(jù)量比較少時可以考慮使用cogroup方法，但是當(dāng)數(shù)據(jù)量大時，就會影響整個運行，降低性能。

mapWithState方法中接收StateSpec類型的參數(shù)，StateSpec中封裝了更新操作的函數(shù)。

StateImpl繼承State類，記錄了其狀態(tài)信息，定義了獲取，更新，刪除等操作接口，很像是數(shù)據(jù)庫中的一張表，進行增刪改查。

StateSpecImpl類中定義了如何初始化狀態(tài)，設(shè)置Partition的個數(shù)，設(shè)置分區(qū)函數(shù)Partition。

MapWithStateDStreamImpl類的compute方法其實質(zhì)是調(diào)用InternalMapWithStateDStream的getOrCompute方法。

InternalMapWithStateDStream是在歷史數(shù)據(jù)的基礎(chǔ)上進行更新操作。

InternalMapWithStateDStream的compute方法中，實例化了MapWithStateRDD對象。

MapWithStateRDD類中，一個Partition對應(yīng)一個MapWithStateRDDRecord。

MapWithStateRDD的compute方法，先獲取之前的State信息，和現(xiàn)在數(shù)據(jù)的迭代器進行操作，，調(diào)用MapWithStateRDDRecord的updateRecordWithData的方法，返回MapWithStateRDDRecord為元素的迭代器。

newStateMap中保存了整個歷史數(shù)據(jù)。

RDD是不可變的，但是RDD中的數(shù)據(jù)可以變化。

感謝各位的閱讀，以上就是“Spark的mapWithState解密方法是什么”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對Spark的mapWithState解密方法是什么這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！