您好,登錄后才能下訂單哦!
本篇文章為大家展示了使用ogg將Oracle數(shù)據(jù)傳輸?shù)絝lume刷到kafka中的內(nèi)存設(shè)置是怎樣的,內(nèi)容簡明扼要并且容易理解,絕對(duì)能使你眼前一亮,通過這篇文章的詳細(xì)介紹希望你能有所收獲。
flume 環(huán)境可以根據(jù)不同的需求啟動(dòng)多個(gè)進(jìn)程,并配置多個(gè)服務(wù)。
內(nèi)存參數(shù)可以修改flume-env.sh 腳本中內(nèi)存設(shè)置:
export JAVA_OPTS=" -Xms128m -Xmx512m -Dcom.sun.management.jmxremote"
一般分配如上大小就可以。
對(duì)應(yīng)OGGpump傳輸段配置內(nèi)存大小實(shí)例如下:
javawriter.bootoptions=-Xmx2048m -Xms256m -XX:-UseGCOverheadLimit -Djava.class.path=/data/ogg_for_bigdata/ggjava/ggjava.jar -Dlog4j.configuration=/data/ogg_for_bigdata/cfg/log4j.properties
可以添加參數(shù) -UseGCOverheadLimit 防止 OOM 出現(xiàn)。
設(shè)置好合理的內(nèi)存后,ogg的pump進(jìn)程可以正常啟動(dòng)。
info 查看后:
File /data/ogg_for_bigdata/dirdat/ff014656
2019-03-22 14:54:59.000996 RBA 126667880
數(shù)據(jù)實(shí)時(shí)更新。
查看 stats 進(jìn)程:
Hourly statistics since 2019-04-09 20:00:04 ***
Total inserts 589.00
Total updates 555.00
Total befores 555.00
Total deletes 0.00
Total discards 0.00
Total operations 1144.00
進(jìn)程正常running
內(nèi)存參數(shù)優(yōu)化是調(diào)整進(jìn)程掛起事務(wù)提交失敗的一種方式,具體視配置環(huán)境而定。
異常報(bào)錯(cuò)如下:
上述內(nèi)容就是使用ogg將Oracle數(shù)據(jù)傳輸?shù)絝lume刷到kafka中的內(nèi)存設(shè)置是怎樣的,你們學(xué)到知識(shí)或技能了嗎?如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備,歡迎關(guān)注億速云行業(yè)資訊頻道。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。