Linux下遠(yuǎn)程連接Jupyter+pyspark部署教程

博主最近試在服務(wù)器上進(jìn)行spark編程，因此，在開始編程作業(yè)之前，要先搭建一個(gè)便利的編程環(huán)境，這樣才能做到舒心地開發(fā)。本文主要有以下內(nèi)容：

1、python多版本管理利器-pythonbrew
2、Jupyter notebooks 安裝與使用以及遠(yuǎn)程連接方法
3、Jupyter連接pyspark，實(shí)現(xiàn)web端sprak開發(fā)

一、python多版本管理利器-pythonbrew

在利用python進(jìn)行編程開發(fā)的時(shí)候，很多時(shí)候我們需要多個(gè)Python版本進(jìn)行測(cè)試，博主之前一直在Python2.x和3.x之間徘徊掙扎，兩者糾纏不清的關(guān)系真是令博主心累了一萬(wàn)年。直至遇到了pythonbrew，它在博主心中泛起的漣漪，久久不能逝去。說(shuō)到pythonbrew，它是一個(gè)python的多版本管理器，可以在多個(gè) Python之間迅速切換，也可以在指定的 Python 版本下測(cè)試python程序，更重要的是它還整合了 Virtualenv。所以，當(dāng)你的電腦里裝了多個(gè)python版本，并需要經(jīng)常切換測(cè)試時(shí)，pythonbrew就非常適合你。

1.安裝配置pythonbrew

sudo easy_install pythonbrew（easy_install安裝）
pip install pythonbrew(pip安裝)

2.添加配置環(huán)境到~/.bashrc（或~/.bash_profile）

[[ -s "$HOME/.pythonbrew/etc/bashrc" ]] && source"$HOME/.pythonbrew/etc/bashrc"

然后執(zhí)行：source ~/.bashrc（或~/.bash_profile）

3.查看系統(tǒng)可以安裝的python版本

[ray@hadoop01 ~]$ pythonbrew list -k
# Pythons
Python-1.5.2
Python-1.6.1
Python-2.0.1
Python-2.1.3
Python-2.2.3
Python-2.3.7
Python-2.4.6
Python-2.5.6
Python-2.6.9
Python-2.7.10
Python-3.0.1
Python-3.1.5
Python-3.2.5
Python-3.3.5
Python-3.4.3

4.安裝python

(ps：需要使用curl安裝python，所以需要先安裝curl)

[ray@hadoop01 ~]$ pythonbrew install 3.2.3(版本號(hào))

5.清理安裝后的版本的源碼和安裝包

[ray@hadoop01 ~]$ pythonbrew cleanup

6.選擇一個(gè)python版本使用，ps：只在當(dāng)前終端有效

[ray@hadoop01 ~]$ pythonbrew use 2.7.10(版本號(hào))

7.查看當(dāng)前pythonbrew下的python版本有哪些（后面有*號(hào)表示正在使用）

[ray@hadoop01 ~]$pythonbrew list
Python-2.6.7 (*)
Python-3.2.3

8.選擇python3.4.3版本作為系統(tǒng)默認(rèn)版本使用，會(huì)把該版本的路徑添加到PATH中

[ray@hadoop01 ~]$ pythonbrew switch 3.4.3

9.取消pythonbrew選擇的版本

[ray@hadoop01 ~]$ pythonbrew off

二、Jupyter notebooks 安裝與使用以及遠(yuǎn)程連接方法

作為一只數(shù)據(jù)分析獅，利用python進(jìn)行數(shù)據(jù)分析編程要的就是優(yōu)雅和細(xì)致。如果還能隨時(shí)隨地利用任何終端進(jìn)行數(shù)據(jù)分析，那不僅是高逼格，更是樂(lè)翻天了。而Jupyter notebook便是能幫助我們?cè)趙eb端做開發(fā)編程的利器。本節(jié)將介紹如果安裝使用jupyter，以及如何遠(yuǎn)程連接到服務(wù)器端的Jupyter notebook。

1.安裝Jupyter

[ray@hadoop01 ~]$ pip install jupyter

2.Jupyter Notebook遠(yuǎn)程服務(wù)器配置

1)首先要生成密碼，打開python終端。

In [1]: from IPython.lib import passwd

In [2]: passwd()
Enter password:
Verify password:
Out[2]: 'sha1:0e422dfccef2:84cfbcb
b3ef95872fb8e23be3999c123f862d856'

2)接下來(lái)生成秘鑰：

[ray@hadoop01 ~]$ openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem

注意：這里會(huì)要求你需要一些個(gè)人信息，如：國(guó)家、省份、名字等。執(zhí)行完命令后，會(huì)生成一個(gè)mycert.pem文件。記下這個(gè)文件的路徑。

3）創(chuàng)建一個(gè)服務(wù)器配置

[ray@hadoop01 ~]$ ipython profile create nbserver

編輯文件jupyter_notebook_config.py，在~/.jupyter/文件夾里

c.NotebookApp.password = u'sha1:。。。。。。。。。。。' c.NotebookApp.certfile = u'/root/.jupyter/mycert.pem' c.NotebookApp.ip = '*' 
c.NotebookApp.port = 9999

4）最后啟動(dòng)服務(wù)器：

[ray@hadoop01 ~]$ipython notebook --profile=nbserver

三、Jupyter連接pyspark，實(shí)現(xiàn)web端sprak開發(fā)

在進(jìn)行這步操作之前，必須先安裝好Jupyter、spark。

1.設(shè)置環(huán)境變量

將一下代碼添加到~/.bash_profile（或者~/.bashrc）

export SPARK_HOME=~/spark-1.5.0-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

注意：

1）.SPARK_HOME的地址是你sprak的安裝目錄，另外在最后一行代碼中，py4j-0.8.2.1-src.zip可能會(huì)因版本不同而不同，請(qǐng)進(jìn)入對(duì)應(yīng)地址確認(rèn)好該文件的名字。

2）.如果要使用python3進(jìn)行作業(yè)，則需要在.bash_profile中添加 export PYSPARK_PYTHON=python3

2.啟動(dòng)pyspark-jupyter

IPYTHON_OPTS="notebook"$SPARK_HOME/bin/pyspark

至此，所以配置全部完成。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持億速云。