溫馨提示×

怎么關(guān)閉spark自動廣播參數(shù)

小億
286
2024-06-04 15:28:18

關(guān)閉Spark的自動廣播參數(shù)可以通過設(shè)置spark.sql.autoBroadcastJoinThreshold參數(shù)為一個較大的值或者設(shè)置為-1來禁用自動廣播。具體的操作步驟如下：

  1. 在啟動Spark應(yīng)用程序的時候，可以通過--conf選項(xiàng)來設(shè)置spark.sql.autoBroadcastJoinThreshold參數(shù)的值。例如：
./bin/spark-submit --conf spark.sql.autoBroadcastJoinThreshold=-1 --class your_main_class your_spark_application.jar
  1. 在代碼中通過SparkSession對象來設(shè)置spark.sql.autoBroadcastJoinThreshold參數(shù)的值。例如：
val spark = SparkSession.builder()
  .appName("YourAppName")
  .config("spark.sql.autoBroadcastJoinThreshold", -1)
  .getOrCreate()

通過以上兩種方式設(shè)置spark.sql.autoBroadcastJoinThreshold參數(shù)的值為-1，即可關(guān)閉Spark的自動廣播參數(shù)。

0 踩