溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

China Azure 在HDinsight 中使用Spark 功能

發(fā)布時間:2020-07-03 12:52:13 來源:網(wǎng)絡(luò) 閱讀:925 作者:jeffcsc 欄目:大數(shù)據(jù)

國際版的Azure 已經(jīng)可以正常支持Spark應(yīng)用,但是當(dāng)我們在使用中國版的Azure的時候,在Azure中國版官網(wǎng)里面發(fā)現(xiàn)了有對Spark服務(wù)的介紹,而真正去使用的時候,卻發(fā)現(xiàn)無法創(chuàng)建。只有Storm,HBase和Hadoop。如圖:

China Azure 在HDinsight 中使用Spark 功能

那問題來了,中國版Azure的HDInsight是否支持Spark?
答案當(dāng)然可以,不過需要自定義一下:

  1. 首先我們需要創(chuàng)建一個PAAS 層SQL Database 用來用以存儲Hive、Oozie的元數(shù)據(jù)。

    China Azure 在HDinsight 中使用Spark 功能

  2. 創(chuàng)建基于PAAS 層的HADOOP 集群:

    HDInsight 3.1 clusters會安裝Spark 1.0.2
    HDInsight 3.2 clusters會安裝Spark 1.2.0

    China Azure 在HDinsight 中使用Spark 功能

  3. 配置集群節(jié)點和虛擬機:

    China Azure 在HDinsight 中使用Spark 功能

  4. 配置訪問用戶,勾選配置Oozie云存儲:

    China Azure 在HDinsight 中使用Spark 功能

  5. 配置Oozie存儲SQL Database數(shù)據(jù)庫:

    China Azure 在HDinsight 中使用Spark 功能

  6. 配置存儲:

    China Azure 在HDinsight 中使用Spark 功能

  7. 使用腳本安裝Spark:

    China Azure 在HDinsight 中使用Spark 功能


  1. 插入Spark 配置腳步:

    https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv03/spark-installer-v03.ps1 。節(jié)點類型選擇"僅頭結(jié)點"

    China Azure 在HDinsight 中使用Spark 功能

    最后點擊"創(chuàng)建"按鈕即可。

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI