溫馨提示×

spark讀取本地文件的方法是什么

小億
147
2024-03-25 17:16:53

在Spark中讀取本地文件的方法通常使用SparkSession的read方法來實現(xiàn)。以下是一個示例代碼：

from pyspark.sql import SparkSession

# 創(chuàng)建SparkSession
spark = SparkSession.builder.appName("read_local_file").getOrCreate()

# 讀取本地文件
df = spark.read.csv("file:///path/to/your/local/file.csv")

# 顯示數(shù)據(jù)
df.show()

# 停止SparkSession
spark.stop()

在上面的示例中，read.csv()方法用于讀取CSV格式的本地文件。你可以根據(jù)需要選擇其他的讀取方法，比如read.json()、read.parquet()等。在讀取本地文件時，需要在文件路徑前加上file://前綴。

0 踩