溫馨提示×
您好，登錄后才能下訂單哦！
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》
您好，登錄后才能下訂單哦！
這篇文章將為大家詳細(xì)講解有關(guān)如何理解Spark Streaming中動(dòng)態(tài)Batch Size實(shí)現(xiàn)，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。
Batch Duration和Process Time并不是線性相關(guān)的，當(dāng)數(shù)據(jù)量增大時(shí)，僅僅增大Batch Duration是不能夠解決問題的，還跟RDD涉及的算子有關(guān)。
傳統(tǒng)的數(shù)據(jù)處理應(yīng)用中，采用J2EE和數(shù)據(jù)庫(kù)的架構(gòu)模式，但是當(dāng)一秒內(nèi)接收到的數(shù)據(jù)單臺(tái)機(jī)器無法容納或者無法處理時(shí)，就需要采用分布式流系統(tǒng)來處理接收到的數(shù)據(jù)。
采用分布式流處理系統(tǒng)時(shí)，還會(huì)遇到數(shù)據(jù)量突發(fā)增大，此時(shí)需要考慮峰值。論文《dynamic_batching》提到動(dòng)態(tài)Batch Size的思想，盡量把Batch變小，處理就會(huì)越快，也就越安全。
引入控制模塊，從Process Time的信息來改變Batch Interval。
關(guān)于如何理解Spark Streaming中動(dòng)態(tài)Batch Size實(shí)現(xiàn)就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。
免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼
