大數(shù)據(jù)工具pyspark怎么用

spark是目前大數(shù)據(jù)領域的核心技術棧，許多從事數(shù)據(jù)相關工作的小伙伴都想馴服它，變成"馴龍高手"，以便能夠駕馭成百上千臺機器組成的集群之龍來馳騁于大數(shù)據(jù)之海。

但大部分小伙伴都沒能成功做到這一點。有一部分小伙伴糾結在到底是學pyspark還是spark-scala上面遲遲未能出征，還有相當一部分倒在了開始的環(huán)境配置上，還有一些在幾十幾百個函數(shù)的用法中迷失了方向，還有少部分同學雖然掌握了一些簡單用法，但是沒有掌握性能優(yōu)化技巧，一旦遇到真正復雜的大數(shù)據(jù)就毫無辦法。

一，pyspark or spark-scala 

pyspark強于分析，spark-scala強于工程。

如果應用場景有非常高的性能需求，應該選擇spark-scala.

如果應用場景有非常多的可視化和機器學習算法需求，推薦使用pyspark，可以更好地和python中的相關庫配合使用。

此外spark-scala支持spark graphx圖計算模塊，而pyspark是不支持的。

pyspark學習曲線平緩，spark-scala學習曲線陡峭。

從學習成本來說，spark-scala學習曲線陡峭，不僅因為scala是一門困難的語言，更加因為在前方的道路上會有無盡的環(huán)境配置痛苦等待著讀者。

而pyspark學習成本相對較低，環(huán)境配置相對容易。從學習成本來說，如果說pyspark的學習成本是3，那么spark-scala的學習成本大概是9。

如果讀者有較強的學習能力和充分的學習時間，建議選擇spark-scala，能夠解鎖spark的全部技能，并獲得最優(yōu)性能，這也是工業(yè)界最普遍使用spark的方式。

如果讀者學習時間有限，并對Python情有獨鐘，建議選擇pyspark。pyspark在工業(yè)界的使用目前也越來越普遍。

二，本書學習方案 

1，學習計劃

非常適合作為pyspark的工具手冊在工程落地時作為范例庫參考。

2，學習環(huán)境

全部源碼在jupyter中編寫測試通過，建議通過git克隆到本地，并在jupyter中交互式運行學習。

為了直接能夠在jupyter中打開markdown文件，建議安裝jupytext，將markdown轉(zhuǎn)換成ipynb文件。

按照如下2個步驟配置單機版spark3.0.1環(huán)境進行練習。

#step1: 安裝java8#jdk
#step2: 安裝pyspark,findsparkpip install -i

此外，也可以在和鯨社區(qū)的云端notebook中直接運行pyspark，沒有任何環(huán)境配置痛苦。

import findspark

#指定spark_home,指定python路徑
spark_home = "/Users/liangyun/anaconda3/lib/python3.7/site-packages/pyspark"
python_path = "/Users/liangyun/anaconda3/bin/python"
findspark.init(spark_home,python_path)

import pyspark 
from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName("test").setMaster("local[4]")
sc = SparkContext(conf=conf)

print("spark version:",pyspark.__version__)
rdd = sc.parallelize(["hello","spark"])
print(rdd.reduce(lambda x,y:x+' '+y))