您好,登錄后才能下訂單哦!
如何實現(xiàn)spark thriftserver運維,很多新手對此不是很清楚,為了幫助大家解決這個難題,下面小編將為大家詳細(xì)講解,有這方面需求的人可以來學(xué)習(xí)下,希望你能有所收獲。
spark thriftserver運維:
在root@spark_master_machine機(jī)器上
啟動 thriftserver
/root/cdh/spark/spark-1.4.1-bin-hadoop2.6/sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=10000 \
--hiveconf hive.server2.thrift.bind.host=spark_master_machine \
--master spark://spark_master_machine:7077 --executor-memory 24g --executor-cores 8 --total-executor-cores 136 --driver-memory 10g --driver-java-options -XX:MaxPermSize=2g
停止 thriftserver
/root/cdh/spark/spark-1.4.1-bin-hadoop2.6/sbin/stop-thriftserver.sh
note:
1.為了spark thrift server指定比較多的core:配置了spark-defaults.conf里spark.driver.cores
通過./sbin/start-thriftserver.sh -–help 可以用來查看可以使用哪些參數(shù),沒有發(fā)現(xiàn)driver-cores的指定方式,為了指定thrift server可以使用多少個core,在spark-defaults.conf中指定(不要在這臺機(jī)器提交spark 任務(wù),去腳本機(jī)器提交任務(wù))
#
spark-defaults.conf配置如下:
spark.master spark://spark_master_machine:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs:/namenodewithoutport/user/root/kk
spark.driver.cores 10
#
2.指定total-executor-cores來限制ExecutorID產(chǎn)生的數(shù)量。
如果--executor-cores 6 --total-executor-cores 102 --executor-memory 16g,
每個worker如果還閑置6core,以及16內(nèi)存, 那么Executor產(chǎn)生兩個,導(dǎo)致使用掉worker機(jī)器所分配的最大內(nèi)存(這里分配了32g),也就會產(chǎn)生34個Executor
3.(防止beeline報錯,MaxPermSize不夠,增加配置--driver-java-options -XX:MaxPermSize=2g,配置了這個,也只是thriff server這個spark driver program MaxPermSize變化了,這個app的executor還是-XX:MaxPermSize=128m)
看完上述內(nèi)容是否對您有幫助呢?如果還想對相關(guān)知識有進(jìn)一步的了解或閱讀更多相關(guān)文章,請關(guān)注億速云行業(yè)資訊頻道,感謝您對億速云的支持。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。