關(guān)于千萬級數(shù)據(jù)的OLAP場景是什么樣的

發(fā)布時間：2021-10-20 10:58:05 來源：億速云閱讀：109 作者：柒染欄目：大數(shù)據(jù)

關(guān)于千萬級數(shù)據(jù)的OLAP場景是什么樣的，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。

前段時間接手一個比較棘手的項目.

6千萬的股票行情數(shù)據(jù)聚合場景.

用戶發(fā)起query, 到解析, 再到聚合, 最后展現(xiàn)給用戶耗時不超過2秒.

因為聚合維度比較多, 可以劃分為時間維度, 指標維度. 指標維度多達10幾個.

使用mongo, 先扔進去了2千萬左右的數(shù)據(jù), 不加索引的情況下, 幾乎出不了結(jié)果.

如果每個維度都使用索引的話成本太高, 最后果斷放棄了mongo.

使用mysql, 數(shù)據(jù)分片, 很細粒度的, 準備以空間換時間.

主要是以時間維度做數(shù)據(jù)冗余, 針對幾個主要的時間段, 時間點提前做數(shù)據(jù)準備.

其他維度采用硬算的方式.

想法是好的, 測試的結(jié)果對我來說相當(dāng)殘酷.

1.硬算時間太長.

2.非主要時間維度跨度太細, 不是所有都做數(shù)據(jù)pre.

采用elasticsearch, 準備了5臺服務(wù)器. 準備采用5臺es集群應(yīng)對OLAP場景.

導(dǎo)進5千萬數(shù)據(jù)后, 開始測試.

時間維度+其他單一維度在1秒以內(nèi)

時間維度+其他多維度(3個以內(nèi))在3秒內(nèi)

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關(guān)知識有進一步的了解或閱讀更多相關(guān)文章，請關(guān)注億速云行業(yè)資訊頻道，感謝您對億速云的支持。

向AI問一下細節(jié)

猜你喜歡