pyspark.sql.DataFrame與pandas.DataFrame之間的相互轉(zhuǎn)換實例

發(fā)布時間：2020-09-11 06:47:31 來源：腳本之家閱讀：656 作者：birdlove1987 欄目：開發(fā)技術(shù)

代碼如下，步驟流程在代碼注釋中可見：

# -*- coding: utf-8 -*-
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark import SparkContext
 
#初始化數(shù)據(jù)
 
#初始化pandas DataFrame
df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3'])
 
#打印數(shù)據(jù)
print df
 
#初始化spark DataFrame
sc = SparkContext()
if __name__ == "__main__":
 spark = SparkSession\
  .builder\
  .appName("testDataFrame")\
  .getOrCreate()
 
sentenceData = spark.createDataFrame([
 (0.0, "I like Spark"),
 (1.0, "Pandas is useful"),
 (2.0, "They are coded by Python ")
], ["label", "sentence"])
 
#顯示數(shù)據(jù)
sentenceData.select("label").show()
 
#spark.DataFrame 轉(zhuǎn)換成 pandas.DataFrame
sqlContest = SQLContext(sc)
spark_df = sqlContest.createDataFrame(df)
 
#顯示數(shù)據(jù)
spark_df.select("c1").show()
 
 
# pandas.DataFrame 轉(zhuǎn)換成 spark.DataFrame
pandas_df = sentenceData.toPandas()
 
#打印數(shù)據(jù)
print pandas_df

程序結(jié)果：

以上這篇pyspark.sql.DataFrame與pandas.DataFrame之間的相互轉(zhuǎn)換實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持億速云。

向AI問一下細節(jié)

pyspark.sql.DataFrame與pandas.DataFrame之間的相互轉(zhuǎn)換實例

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標簽