溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶(hù)服務(wù)條款》

Spark2.4.0有什么功能

發(fā)布時(shí)間：2021-12-16 11:26:18 來(lái)源：億速云 閱讀：135 作者：小新 欄目：大數(shù)據(jù)

這篇文章給大家分享的是有關(guān)Spark2.4.0有什么功能的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

SparkCore 和 SQL

  • 增加了Barrier ExecutionMode，可以更好的和深度學(xué)習(xí)的框架整合

  • 同時(shí)引入了 30+ 內(nèi)置函數(shù)和 higher-order函數(shù)可以處理更復(fù)雜的數(shù)據(jù)類(lèi)型

  • 改善了與k8s的整合

Spark2.4.0有什么功能

  • 支持scala 2.12

  • 內(nèi)置支持了Avro格式數(shù)據(jù)源，這個(gè)感情好，后面浪尖給出測(cè)試案例，以后有pb的支持那就更好了。

性能和穩(wěn)定性

這個(gè)優(yōu)化比較多，值得關(guān)注

  • Connector優(yōu)化

這個(gè)優(yōu)化主要是Parquet，orc，csv及avro等的優(yōu)化升級(jí)

Spark2.4.0有什么功能

MLlib

  • MLlib支持了圖像格式的數(shù)據(jù)源

StructuredStreaming

  • 使用foreachBatch（支持Python，Scala和Java）將每個(gè)微批的輸出行暴露為DataFrame。

  • 為Python API 增加了foreach 和 ForeachWriter

  • 支持使用“kafka.isolation.level”讀取使用事務(wù)的生產(chǎn)者生產(chǎn)到kafka topic的已提交消息。 

感謝各位的閱讀！關(guān)于“Spark2.4.0有什么功能”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手