Beam中的Watermark是用于確保數(shù)據(jù)的時序完整性和準(zhǔn)確性的重要機(jī)制。Watermark是一個時間戳，用來表示數(shù)據(jù)流中的事件的最大允許延遲時間。Beam會根據(jù)Watermark來判斷哪些數(shù)據(jù)可以被處理，哪些數(shù)據(jù)已經(jīng)延遲太久，需要被丟棄或者進(jìn)行其他處理。通過Watermark，Beam可以在處理無界數(shù)據(jù)流時保證數(shù)據(jù)的正確性和時序性。
億速云公眾號
手機(jī)網(wǎng)站二維碼
