溫馨提示×

spark怎么讀取hdfs數(shù)據(jù)

小億
205
2024-05-06 19:50:51

要讀取HDFS數(shù)據(jù)，首先需要創(chuàng)建一個SparkSession對象，并使用spark.read方法來讀取數(shù)據(jù)。以下是一個示例代碼：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("example").getOrCreate()

# 讀取HDFS中的數(shù)據(jù)
df = spark.read.csv("hdfs://path/to/file.csv")

# 顯示數(shù)據(jù)
df.show()

# 關(guān)閉SparkSession
spark.stop()

在上面的代碼中，我們首先創(chuàng)建了一個SparkSession對象，并使用spark.read.csv方法來讀取HDFS中的csv文件。然后使用show()方法來顯示數(shù)據(jù)。最后，使用spark.stop()方法關(guān)閉SparkSession對象。

0 踩