Spark中怎么調(diào)用Jni程序

發(fā)布時(shí)間：2021-06-24 16:05:25 來源：億速云閱讀：297 作者：Leah 欄目：云計(jì)算

本篇文章給大家分享的是有關(guān)Spark中怎么調(diào)用Jni程序，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

1.jni調(diào)用中的資源銷毀問題處理。

從saprk on yarn 模式下，每提交一次任務(wù)，就啟動(dòng)一組進(jìn)程，并在任務(wù)完成后進(jìn)程銷毀，因此，只要確保全局資源只存在一份就可以保證不會(huì)發(fā)生內(nèi)存泄漏，系統(tǒng)崩潰的情況。

2.jni程序中的多個(gè)方法之間靜態(tài)對(duì)象可共享。

3.corsegenbackend進(jìn)程在任務(wù)提交時(shí)被創(chuàng)建，并在任務(wù)執(zhí)行完成后被銷毀，此進(jìn)程個(gè)數(shù)在yarn模式下通過 --num-executors設(shè)置。

4.在spark上，任務(wù)可能跑在多個(gè)進(jìn)程上，如果jni程序中包含C++靜態(tài)對(duì)象，如何確保靜態(tài)對(duì)象只被初始化加載一次？。

解決方法：

1.寫在 mapparition中，但是被調(diào)用次數(shù)過多是個(gè)缺點(diǎn)。

2.寫在static塊中，可以確保每個(gè)進(jìn)程只對(duì)該方法調(diào)用一次。

5.spark中的mappartitions方法，如果在后臺(tái)調(diào)用了一次 df.first();則可能會(huì)發(fā)生只被map一次的情況。

以上就是Spark中怎么調(diào)用Jni程序，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過這篇文章學(xué)到更多知識(shí)。更多詳情敬請(qǐng)關(guān)注億速云行業(yè)資訊頻道。

向AI問一下細(xì)節(jié)

猜你喜歡