溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

怎么解決Drois Stream load JSON為空導(dǎo)致BE宕機(jī)的情況

發(fā)布時(shí)間:2021-12-07 10:51:06 來源:億速云 閱讀:203 作者:柒染 欄目:大數(shù)據(jù)

這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)怎么解決Drois Stream load JSON為空導(dǎo)致BE宕機(jī)的情況,文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。

集群前兩天在正常運(yùn)行情況下突然出現(xiàn)BE大規(guī)模宕機(jī)的情況,開始認(rèn)為一個(gè)查詢導(dǎo)致的,停掉這個(gè)查詢接口以后,發(fā)現(xiàn)還是出現(xiàn),通過be.out日志發(fā)現(xiàn)如下異常信息:

When loading json data like `[]` (an empty array). BE will crash with stack:

```
*** Aborted at 1612273824 (unix time) try "date -d @1612273824" if you are using GNU date ***
PC: @           0xe0cce7 rapidjson::GenericValue<>::Accept<>()
*** SIGSEGV (@0xe) received by PID 36798 (TID 0x7f7812114700) from PID 14; stack trace: ***
    @     0x7f791b74b470 (unknown)
    @           0xe0cce7 rapidjson::GenericValue<>::Accept<>()
    @          0x169ff79 _ZN5doris10JsonReader17_print_json_valueB5cxx11ERKN9rapidjson12GenericValueINS1_4UTF8IcEENS1_19MemoryPoolAllocatorINS1_12CrtAllocatorEEEEE
    @          0x16a0689 doris::JsonReader::_write_values_by_jsonpath()
    @          0x16a2cb4 doris::JsonReader::_handle_flat_array_complex_json()
    @          0x16a3761 doris::JsonScanner::get_next()
    @          0x1659bd4 doris::BrokerScanNode::scanner_scan()
    @          0x165a671 doris::BrokerScanNode::scanner_worker()
    @          0x281f67f execute_native_thread_routine
    @     0x7f791b5001c3 start_thread
    @     0x7f791b7fd12d __clone

最后排查發(fā)現(xiàn)Stream Load JSON數(shù)據(jù)字符串為空的情況,如果是通過FE是不會(huì)引起這個(gè)問題,但是直接通過BE,執(zhí)行Stream Load操作就會(huì)引發(fā)上面的異常,導(dǎo)致be宕機(jī)

最后在社區(qū)陳明雨大神的指導(dǎo)下,社區(qū)已經(jīng)有人提交了這個(gè)Patch,打上這個(gè)補(bǔ)丁以后,問題解決

Fix bug that BE core will loading empty json array

因?yàn)槟壳斑@個(gè)Patch還沒有在發(fā)行版中,為了方便大家使用,我編譯了一個(gè)版本放在了百度網(wǎng)盤,大家可以根據(jù)自己需要下載

大家使用Stream load 導(dǎo)入數(shù)據(jù)(直接和BE通訊),如果出現(xiàn)空json字符串會(huì)導(dǎo)致BE down的情況,大家盡快打上這個(gè)補(bǔ)丁

上述就是小編為大家分享的怎么解決Drois Stream load JSON為空導(dǎo)致BE宕機(jī)的情況了,如果剛好有類似的疑惑,不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí),歡迎關(guān)注億速云行業(yè)資訊頻道。

向AI問一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,如果涉及侵權(quán)請(qǐng)聯(lián)系站長郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI