廣播變量是一種分布式共享變量，用于在集群中的所有節(jié)點(diǎn)上保持一份只讀的變量副本。這樣可以在所有節(jié)點(diǎn)上使用同一個(gè)變量，避免在每個(gè)任務(wù)中都復(fù)制一份變量的開(kāi)銷，提高性能并減少內(nèi)存占用。廣播變量在Spark中是只讀的，一旦廣播變量被創(chuàng)建后，它的值就不能被修改。廣播變量通常用于將較大的數(shù)據(jù)集或模型參數(shù)廣播到所有節(jié)點(diǎn)上，以便在計(jì)算過(guò)程中使用。
億速云公眾號(hào)
手機(jī)網(wǎng)站二維碼
