Spark與Elasticsearch在Ubuntu

在Ubuntu上安裝和配置Spark與Elasticsearch涉及幾個(gè)步驟。以下是一些關(guān)鍵步驟的概述：

安裝Java

Spark需要Java環(huán)境，因此首先需要安裝Java。可以通過以下命令來安裝OpenJDK 11：

sudo apt update
sudo apt install openjdk-11-jdk

下載并解壓Spark

接下來，從Spark官網(wǎng)下載適合Ubuntu的Spark版本，并解壓到指定目錄。例如，解壓到/opt/spark目錄：

wget https://downloads.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
tar xzf spark-3.2.0-bin-hadoop3.2.tgz
sudo mv spark-3.2.0-bin-hadoop3.2 /opt/spark

配置Spark環(huán)境變量

為了方便使用Spark，需要配置環(huán)境變量。編輯~/.bashrc文件，添加以下內(nèi)容：

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin

然后運(yùn)行source ~/.bashrc使配置生效。

啟動(dòng)Spark Shell

現(xiàn)在可以啟動(dòng)Spark Shell了：

spark-shell

安裝Elasticsearch

可以通過官方文檔提供的命令來下載并安裝Elasticsearch。請(qǐng)注意，這里使用的是Elasticsearch 7.x版本，因?yàn)榕c某些Spark組件的兼容性更好。

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.1-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.10.1-linux-x86_64.tar.gz
sudo mv elasticsearch-7.10.1 /opt/elasticsearch

配置Elasticsearch環(huán)境變量

同樣地，編輯~/.bashrc文件，添加以下內(nèi)容：

export ELASTICSEARCH_HOME=/opt/elasticsearch
export PATH=$PATH:$ELASTICSEARCH_HOME/bin

然后運(yùn)行source ~/.bashrc使配置生效。

啟動(dòng)Elasticsearch

現(xiàn)在可以啟動(dòng)Elasticsearch了：

/opt/elasticsearch/bin/elasticsearch

至此，已經(jīng)在Ubuntu上成功安裝了Spark和Elasticsearch，并進(jìn)行了基本的環(huán)境配置。接下來可以根據(jù)具體需求進(jìn)行進(jìn)一步的設(shè)置和使用。