您好,登錄后才能下訂單哦!
小編給大家分享一下windows下跑spark程序的注意點(diǎn)有哪些,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
windows下也可以跑spark程序,如果沒(méi)有集群則用本地模式[local],然后用跑jar包的方式就可以了。
大致步驟如下:
(1)創(chuàng)建maven工程,支持scala,可以用scala寫(xiě)spark程序,注意spark.setMaster("local")這樣。
(2)生成jar包。用mvn clean scala:compile package命令。
(3)將hadoop.dll(從網(wǎng)上搜索)放到c:\windows\system32\目錄下,不然windows下創(chuàng)建文件會(huì)報(bào)錯(cuò)。
(4)執(zhí)行java -classpath yourSparkApp.jar yourMainClass
注意,如果沒(méi)有spark環(huán)境,則maven里不要添加<scope>provided</scope>之類(lèi)的字樣,這樣jar包同目錄下會(huì)生成lib目錄,里面是spark需要的所有的jar包。
執(zhí)行jar包的時(shí)候默認(rèn)會(huì)找到.jar文件下的lib目錄里的jar包作為依賴(lài)的。
這樣,一個(gè)完整的windows下開(kāi)發(fā)并且調(diào)試spark程序的過(guò)程就完成了!
以上是“windows下跑spark程序的注意點(diǎn)有哪些”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道!
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。