溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶(hù)服務(wù)條款》

windows下跑spark程序的注意點(diǎn)有哪些

發(fā)布時(shí)間:2021-12-16 11:19:36 來(lái)源:億速云 閱讀:168 作者:小新 欄目:大數(shù)據(jù)

小編給大家分享一下windows下跑spark程序的注意點(diǎn)有哪些,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!

windows下也可以跑spark程序,如果沒(méi)有集群則用本地模式[local],然后用跑jar包的方式就可以了。

大致步驟如下:

(1)創(chuàng)建maven工程,支持scala,可以用scala寫(xiě)spark程序,注意spark.setMaster("local")這樣。

(2)生成jar包。用mvn clean scala:compile package命令。

(3)將hadoop.dll(從網(wǎng)上搜索)放到c:\windows\system32\目錄下,不然windows下創(chuàng)建文件會(huì)報(bào)錯(cuò)。

(4)執(zhí)行java -classpath  yourSparkApp.jar yourMainClass

注意,如果沒(méi)有spark環(huán)境,則maven里不要添加<scope>provided</scope>之類(lèi)的字樣,這樣jar包同目錄下會(huì)生成lib目錄,里面是spark需要的所有的jar包。

執(zhí)行jar包的時(shí)候默認(rèn)會(huì)找到.jar文件下的lib目錄里的jar包作為依賴(lài)的。

這樣,一個(gè)完整的windows下開(kāi)發(fā)并且調(diào)試spark程序的過(guò)程就完成了!

以上是“windows下跑spark程序的注意點(diǎn)有哪些”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI