您好,登錄后才能下訂單哦!
小編給大家分享一下Python如何安裝spark,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
Java JDK 1.8.0_111
Python 3.9.6
Spark 3.1.2
Hadoop 3.2.2
從官網(wǎng)下載相應(yīng)JDK的版本安裝,并進(jìn)行環(huán)境變量的配置
(1)在系統(tǒng)變量新建JAVA_HOME,根據(jù)你安裝的位置填寫(xiě)變量值
(2)新建CLASSPATH
變量值:.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;(注意前面所需的符號(hào))
(3)點(diǎn)擊Path
在其中進(jìn)行新建:%JAVA_HOME%\bin
(4)配置好后進(jìn)行確定
(5)驗(yàn)證,打開(kāi)cmd,輸入java -version和javac進(jìn)行驗(yàn)證
此上說(shuō)明jdk環(huán)境變量配置成功
(1)下載安裝:
Spark官網(wǎng):spark-3.1.2-bin-hadoop3.2下載地址
(2)解壓,配置環(huán)境
(3)點(diǎn)擊Path,進(jìn)行新建:%SPARK_HOME%\bin,并確認(rèn)
(4)驗(yàn)證,cmd中輸入pyspark
這里提醒我們要安裝Hadoop
(1)下載:
Hadoop官網(wǎng):Hadoop 3.2.2下載地址
(2)解壓,配置環(huán)境
注意:解壓文件后,bin文件夾中可能沒(méi)有以下兩個(gè)文件:
下載地址:https://github.com/cdarlint/winutils
配置環(huán)境變量CLASSPATH:%HADOOP_HOME%\bin\winutils.exe
(3)點(diǎn)擊Path,進(jìn)行新建:%HADOOP_HOME%\bin,并確認(rèn)
(4)驗(yàn)證,cmd中輸入pyspark
由上可以看出spark能運(yùn)行成功,但是會(huì)出現(xiàn)如下警告:
WARN ProcfsMetricsGetter: Exception when trying to compute pagesize, as a result reporting of ProcessTree metrics is stopped
這里因?yàn)閟park為3.x版本有相關(guān)改動(dòng),使用spar2.4.6版本不會(huì)出現(xiàn)這樣的問(wèn)題。
不改版本解決方式(因是警告,未嘗試):
方式一:解決方法一
方式二:解決方法二
(1)Run–>Edit Configurations
(2)對(duì)Environment Variables進(jìn)行配置
(3)File–>Settings–>Project Structure–>Add Content Root
找到spark-3.1.2-bin-hadoop3.2\python\lib下兩個(gè)包進(jìn)行添加
選擇結(jié)果:
(4)測(cè)試
# 添加此代碼,進(jìn)行spark初始化 import findspark findspark.init() from datetime import datetime, date from pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate() rdd = spark.sparkContext.parallelize([ (1, 2., 'string1', date(2000, 1, 1), datetime(2000, 1, 1, 12, 0)), (2, 3., 'string2', date(2000, 2, 1), datetime(2000, 1, 2, 12, 0)), (3, 4., 'string3', date(2000, 3, 1), datetime(2000, 1, 3, 12, 0)) ]) df = spark.createDataFrame(rdd, schema=['a', 'b', 'c', 'd', 'e']) df.show()
運(yùn)行結(jié)果:
conda create -n pyspark_env python==3.9.6
查看環(huán)境:
conda env list
運(yùn)行結(jié)果:
切換到pyspark_env并進(jìn)行安裝pyspark
pip install pyspark
運(yùn)行上面的實(shí)例,會(huì)出現(xiàn)以下錯(cuò)誤:
這說(shuō)明我們需要配置py4j,SPARK_HOME
SPARK_HOME:
PYTHONPATH設(shè)置:
HADOOP_HOME設(shè)置:
path中設(shè)置:
# 添加此代碼,進(jìn)行spark初始化 import findspark findspark.init() from datetime import datetime, date from pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate() rdd = spark.sparkContext.parallelize([ (1, 2., 'string1', date(2000, 1, 1), datetime(2000, 1, 1, 12, 0)), (2, 3., 'string2', date(2000, 2, 1), datetime(2000, 1, 2, 12, 0)), (3, 4., 'string3', date(2000, 3, 1), datetime(2000, 1, 3, 12, 0)) ]) df = spark.createDataFrame(rdd, schema=['a', 'b', 'c', 'd', 'e']) df.show()
運(yùn)行結(jié)果同上
以上是“Python如何安裝spark”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。