怎樣深入理解batched_reduce_size

這期內(nèi)容當(dāng)中小編將會給大家?guī)碛嘘P(guān)怎樣深入理解batched_reduce_size，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

在search 流程中，協(xié)調(diào)節(jié)點(diǎn)收到客戶端的查詢請求后，將請求涉及到的轉(zhuǎn)發(fā)到其他數(shù)據(jù)節(jié)點(diǎn)，這個過程中會以 shard 為單位發(fā)送 query請求，待所有的請求都收到響應(yīng)（QuerySearchResult）后進(jìn)行下一步處理。

batched_reduce_size 參數(shù)用于控制在Search過程中，當(dāng)協(xié)調(diào)節(jié)點(diǎn)收到指定的結(jié)果時執(zhí)行一次 reduce。

官網(wǎng)對他的解釋如下：

(Optional, integer) The number of shard results that should be reduced at once on the coordinating node. This value should be used as a protection mechanism to reduce the memory overhead per search request if the potential number of shards in the request can be large. Defaults to 512.

這個解釋看上去難以理解本質(zhì)，因此查閱一下代碼，重新解釋一下這個參數(shù)的含義：協(xié)調(diào)節(jié)點(diǎn)并行發(fā)送完 query 請求后，收到的響應(yīng)QuerySearchResult達(dá)到batched_reduce_size數(shù)量時，執(zhí)行一次 reduce，reduce 執(zhí)行以下操作：

1. 如果請求中含有聚合，則對這批結(jié)果執(zhí)行聚合

2. 如果請求中需要計算 TopN，則對這批結(jié)果執(zhí)行計算

因此這個參數(shù)的主要作用是防止協(xié)調(diào)節(jié)點(diǎn)為了匯總?cè)拷Y(jié)果而占用太多內(nèi)存。

主要實(shí)現(xiàn)代碼如下，bufferSize就是batched_reduce_size設(shè)置的值，默認(rèn)為512

private synchronized void consumeInternal(QuerySearchResult querySearchResult) {
    if (index == bufferSize) {
        if (hasAggs) {
            InternalAggregations reducedAggs = InternalAggregations.reduce(Arrays.asList(aggsBuffer), reduceContext);
            Arrays.fill(aggsBuffer, null);
            aggsBuffer[0] = reducedAggs;
        }
        if (hasTopDocs) {
            TopDocs reducedTopDocs = mergeTopDocs(Arrays.asList(topDocsBuffer),
                    querySearchResult.from() + querySearchResult.size(), 0);
            Arrays.fill(topDocsBuffer, null);
            topDocsBuffer[0] = reducedTopDocs;
        }
        numReducePhases++;
        index = 1;
    }
    final int i = index++;
    if (hasAggs) {
        aggsBuffer[i] = (InternalAggregations) querySearchResult.consumeAggs();
    }
    if (hasTopDocs) {
        topDocsBuffer[i] = topDocs.topDocs;
    }
}

上述就是小編為大家分享的怎樣深入理解batched_reduce_size了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識，歡迎關(guān)注億速云行業(yè)資訊頻道。