溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

震驚!不需hadoop環(huán)境運(yùn)行scala和pyspark程序

發(fā)布時間:2020-06-29 18:37:03 來源:網(wǎng)絡(luò) 閱讀:705 作者:寒月谷 欄目:大數(shù)據(jù)

Databricks官方是這樣描述Databricks優(yōu)勢的:

????????像Databricks這樣的云平臺提供了一套集成的、主機(jī)托管的解決方案,消除了企業(yè)采用Spark和確保大數(shù)據(jù)項目成功所面臨的這三大障礙。我們?yōu)槟闾峁┝巳婀芾砗驼{(diào)優(yōu)的Spark集群,開發(fā)Spark的一群專家在大力支持。我們的平臺為你提供了一種互動式工作區(qū)域,以便探查、可視化、合作和發(fā)布。如果你已準(zhǔn)備好進(jìn)入生產(chǎn)環(huán)境,只要點(diǎn)擊一下鼠標(biāo)即可啟動任務(wù)。我們會自動搭建基礎(chǔ)設(shè)施。

????????另外,我們還提供了一組豐富的API,以便通過編程訪問該平臺,這還讓用戶能夠無縫整合第三方應(yīng)用程序。

咱們平民玩家想練習(xí)scala,pyspark,苦于電腦配置不行,沒安裝hadoop環(huán)境,公司沒環(huán)境用,等痛點(diǎn)。

沒關(guān)系,可以免費(fèi)申請Databricks 空間,并且運(yùn)行scala代碼是不需要*大大×××*的哈。

只是注冊賬號的時候需要一個gmail郵箱就ok了。

注冊網(wǎng)址如下

https://community.cloud.databricks.com/login.html

震驚!不需hadoop環(huán)境運(yùn)行scala和pyspark程序

選擇社區(qū)版。

進(jìn)入后,姓名,公司名 abc隨便寫寫。

注意:這里有個注冊驗(yàn)證碼可能需要*大大×××*的哈~

????這個你要是找筆者要,我只能這樣回你了 --- :

震驚!不需hadoop環(huán)境運(yùn)行scala和pyspark程序

賬號搞定后,開始創(chuàng)建scala或者python腳本(pyspark):

Create Notebook:

可以創(chuàng)建scala,python,sql,R 四種notebook 用來運(yùn)行spark程序。

震驚!不需hadoop環(huán)境運(yùn)行scala和pyspark程序

如圖,很貼心的給了免費(fèi)集群(6G內(nèi)存,spark2.4,scala2.11)這樣我們可以方便的在云端體驗(yàn)

spark了。對使用筆記本電腦 和電腦配置低的用戶是比較推崇的。

而且在里面創(chuàng)建的notebook 可以導(dǎo)出&&導(dǎo)入, 小伙伴們 遇到語法問題(各種疑難雜癥),導(dǎo)出notebook,

微信群請教?筆者 samir 和群主大大都可以哈!

震驚!不需hadoop環(huán)境運(yùn)行scala和pyspark程序

下面測試2個簡單的scala 語句:

1. 常用if-else 控制語句

2. scala調(diào)用linux 命令wget下載文件,ls,pwd等命令。


震驚!不需hadoop環(huán)境運(yùn)行scala和pyspark程序1

震驚!不需hadoop環(huán)境運(yùn)行scala和pyspark程序


打完收工,這次的分享就到這里了。

附上官方操作手冊:

https://docs.databricks.com/getting-started/index.html

再貼上咱們的 scala& spark 微信群二維碼 :


歡迎交流~

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI