spark怎么讀取本地文件路徑

小億
145
2024-05-22 10:22:07

在Spark中讀取本地文件路徑，可以使用sc.textFile方法來(lái)讀取文本文件，或者使用spark.read.csv來(lái)讀取CSV文件。

下面是一個(gè)示例代碼，讀取本地文本文件的路徑：

from pyspark import SparkContext

# 創(chuàng)建SparkContext對(duì)象
sc = SparkContext("local", "Read Local File")

# 讀取本地文件路徑
file_path = "file:///path/to/your/file.txt"
rdd = sc.textFile(file_path)

# 打印文件內(nèi)容
for line in rdd.collect():
    print(line)

# 關(guān)閉SparkContext
sc.stop()

如果要讀取CSV文件，可以使用以下代碼：

from pyspark.sql import SparkSession

# 創(chuàng)建SparkSession對(duì)象
spark = SparkSession.builder.appName("Read Local CSV").getOrCreate()

# 讀取本地CSV文件路徑
file_path = "file:///path/to/your/file.csv"
df = spark.read.csv(file_path, header=True)

# 顯示數(shù)據(jù)框內(nèi)容
df.show()

# 停止SparkSession
spark.stop()

請(qǐng)注意，需要替換示例代碼中的文件路徑為您實(shí)際文件的路徑。

0 踩