溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶(hù)服務(wù)條款》

python spark windows pycharm pyspark環(huán)境配置

發(fā)布時(shí)間：2020-07-13 12:27:47 來(lái)源：網(wǎng)絡(luò) 閱讀：6017 作者：necther 欄目：大數(shù)據(jù)

1、下載如下
python spark windows pycharm pyspark環(huán)境配置

放在D盤(pán)
添加 SPARK_HOME = D:\spark-2.3.0-bin-hadoop2.7。

  • 并將 %SPARK_HOME%/bin 添加至環(huán)境變量PATH。
  • 然后進(jìn)入命令行，輸入pyspark命令。若成功執(zhí)行。則成功設(shè)置環(huán)境變量

python spark windows pycharm pyspark環(huán)境配置

找到pycharm sitepackage目錄
python spark windows pycharm pyspark環(huán)境配置

右鍵點(diǎn)擊即可進(jìn)入目錄，將上面D:\spark-2.3.0-bin-hadoop2.7里面有個(gè)/python/pyspark目錄拷貝到上面的 sitepackage目錄
python spark windows pycharm pyspark環(huán)境配置

安裝 py4j
python spark windows pycharm pyspark環(huán)境配置

試驗(yàn)如下代碼：

from __future__ import print_function
import sys
from operator import add
import os

# Path for spark source folder
os.environ['SPARK_HOME'] = "D:\spark-2.3.0-bin-hadoop2.7"
# Append pyspark to Python Path
sys.path.append("D:\spark-2.3.0-bin-hadoop2.7\python")
sys.path.append("D:\spark-2.3.0-bin-hadoop2.7\python\lib\py4j-0.9-src.zip")
from pyspark import SparkContext
from pyspark import SparkConf

if __name__ == '__main__':
    inputFile = "D:\Harry.txt"
    outputFile = "D:\Harry1.txt"
    sc = SparkContext()
    text_file = sc.textFile(inputFile)
    counts = text_file.flatMap(lambda line: line.split(' ')).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)
    counts.saveAsTextFile(outputFile)

計(jì)算成功即可

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱：is@yisu.com進(jìn)行舉報(bào)，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手