實(shí)戰(zhàn)：利用KNIME建立Spark Machine learning 模型 1：開發(fā)環(huán)境搭建

發(fā)布時(shí)間：2020-05-30 14:08:05 來源：網(wǎng)絡(luò) 閱讀：5519 作者：forestwater 欄目：大數(shù)據(jù)

１、Knime Analytics　安裝

從官方網(wǎng)站下載合適的版本　https://www.knime.com/downloads

將下載的安裝包在安裝路徑解壓　https://www.knime.com/installation-0

下圖是knime啟動后的歡迎頁面

實(shí)戰(zhàn)：利用KNIME建立Spark Machine learning 模型 1：開發(fā)環(huán)境搭建

要與spark集×××互，需要在Knime中安裝KNIME? Extension for Apache Spark。并在Hadoop集群邊界節(jié)點(diǎn)或能夠執(zhí)行spark-submit的節(jié)點(diǎn)安裝Spark Job Server。架構(gòu)圖如下：

實(shí)戰(zhàn)：利用KNIME建立Spark Machine learning 模型 1：開發(fā)環(huán)境搭建

２、KNIME? Extension for Apache Spark　安裝

在KNIME Analytics 中點(diǎn)擊File->Install KNIME extensions選中KNIME Big Data Extensions，點(diǎn)擊Next安裝。

實(shí)戰(zhàn)：利用KNIME建立Spark Machine learning 模型 1：開發(fā)環(huán)境搭建

３、SPARK JOB SERVER安裝

以下步驟以Centos 6.5 + CDH 5.7 為例

３．1 下載spark job server

$ wget http://download.knime.org/store/3.5/spark-job-server-0.6.2.3-KNIME_cdh-5.7.tar.gz

３．2 login as root or su root

３．3 安裝

# LINKNAME=spark-job-server

# useradd -d /opt/${LINKNAME}/ -M -r -s /bin/false spark-job-server

# su -l -c "hdfs dfs -mkdir -p /user/spark-job-server ; hdfs dfs -chown -R spark-job-server /user/spark-job-server" hdfs

# cp spark-job-server-0.6.2.3-KNIME_cdh-5.7.tar.gz /opt

# cd /opt

# tar -xvf spark-job-server-0.6.2.3-KNIME_cdh-5.7.tar.gz

# ln -s spark-job-server-0.6.2.3-KNIME_cdh-5.7 ${LINKNAME}

# chown -R spark-job-server:spark-job-server ${LINKNAME} spark-job-server-0.6.2.3-KNIME_cdh-5.7

３．4 開機(jī)啟動

# ln -s /opt/${LINKNAME}/spark-job-server-init.d /etc/init.d/${LINKNAME}

＃chkconfig --levels 2345 ${LINKNAME} on

３．５編輯environment.conf

設(shè)置master，例如

master = "spark://ifrebdplatform1:7077"

設(shè)置Default settings for Spark contexts: context-settings

３．６編輯設(shè)置settings.sh

設(shè)置SPARK_HOME，本例默認(rèn)正確，不做改變

設(shè)置LOG_DIR，如果不用默認(rèn)設(shè)置的目錄的話

３．７根據(jù)喜好編輯log4j-server.properties

３．８啟動spark job server

/etc/init.d/${LINKNAME} start

３．９　在knime 添加create spark context 節(jié)點(diǎn)測試鏈接

實(shí)戰(zhàn)：利用KNIME建立Spark Machine learning 模型 1：開發(fā)環(huán)境搭建

右擊create spark context 節(jié)點(diǎn)，點(diǎn)擊Execute執(zhí)行

右擊create spark context 節(jié)點(diǎn)，點(diǎn)擊Spark Context，查看結(jié)果

實(shí)戰(zhàn)：利用KNIME建立Spark Machine learning 模型 1：開發(fā)環(huán)境搭建

未完待續(xù)......

向AI問一下細(xì)節(jié)

實(shí)戰(zhàn)：利用KNIME建立Spark Machine learning 模型 1：開發(fā)環(huán)境搭建

猜你喜歡

最新資訊

相關(guān)推薦

相關(guān)標(biāo)簽