集算器（倉庫版）發(fā)布，黑科技獲得用戶好評

2018年5月16日，集算器（倉庫版）攜帶多項黑科技正式發(fā)布。

在發(fā)布之前的應用驗證中，倉庫版就已經用實力贏得了用戶的好評。北京銀行用戶在評價倉庫版時表示：在數據分析實踐中，高并發(fā)訪問、大數據量計算造成的系統(tǒng)響應時間過長的問題，始終沒有得到很好的解決。集算器（倉庫版）的出現，徹底解決了這個難題！用集算器將高頻次熱點數據前置，構建數據計算中間層，可以說是最佳解決方案，在很多場景下要優(yōu)于價值百萬的數據庫產品！

實際的測試也證明，集算器（倉庫版）確實表現優(yōu)異！以性能指標為例，測試目標是高頻熱點數據，單日三千萬行。集算器和GreenPlum執(zhí)行同樣的條件查詢，集算器僅用2秒完成，GreenPlum執(zhí)行了5秒。GP測試環(huán)境是5個節(jié)點集群，每個節(jié)點是2*6核CPU，96G內存的實體機；而集算器所在的服務器僅是1*2核CPU，16G內存的虛擬機。能夠大幅超越GP，足見黑科技的威力！

究竟是什么樣的黑科技能以如此優(yōu)異的表現贏得用戶的好評呢？下面，我們就一一道來：

黑科技之一：組表

組表又稱組合表，是集算器（倉庫版）數據存儲的基本方式。組表支持數據的部分修改，支持更新恢復，可以安全方便的從全量數據源中同步熱點數據。組表支持索引，而且數據本身就是有序存放的，常用的條件過濾計算不依賴索引也能保證高性能。索引在數據修改之后自動更新。

在上邊提到的測試中，采用的是列存硬盤存儲的方式。組表也可以采取行存和全內存存儲數據，支持內存數據庫方式運行。

黑科技之二：可并行列存

組表采用的列存機制和常規(guī)列存是不同的。常規(guī)列存（比如parquet格式），只能分塊之后，再在塊內列存，在做并行計算的時候是受限的。組表的可并行壓縮列存機制，采用倍增分段技術，允許任意分段的并行計算，可以利用多CPU核的計算能力把硬盤的IO發(fā)揮到極致。

黑科技之三：集群組表

組表除了具備上述特性之外，還支持把數據分布在多臺機器上形成集群組表。集群組表可以利用多機并行來橫向擴展計算能力和存儲容量。在用法上，集群組表和普通組表是基本相同的。也就是說，集群組表是透明集群，使用者無需關心多節(jié)點組表的細節(jié)，可以當成一個組表來用。

黑科技之四：主附表統(tǒng)一

有些數據表是同維（一對一）關系或者主子關系。比如：客戶表、VIP客戶表；用戶基本信息、家庭信息、教育經歷、工作經歷；訂單、訂單明細。

主附表統(tǒng)一是指將同維表或者主子表放到一個組表中，只存放一份主鍵。還可以省去這些表的連接（JOIN）計算，減小存儲空間，有效提高性能。

黑科技之五：序號鍵技術

外鍵關系的連接（JOIN）計算也比較常見，比如銷售記錄表通過“商品編號”和商品表關聯。序號鍵技術就是把銷售記錄中的商品編號都改成整數，這個數就是該商品編號對應的商品在商品表中的次序號。

序號鍵技術使得外鍵連接（JOIN）計算可以直接使用序號定位，不需要計算和比較HASH值，減少計算時間，提高性能。同時，使用序號鍵技術這種外鍵式連接技術方案，很容易把多個連接（JOIN）并行執(zhí)行。

黑科技之六：JDBC智能網關

集算器對外提供JDBC驅動和簡單SQL接口，具備可編程網關機制。通過編寫集算器內置的新一代編程語言SPL代碼，可以自由的實現高頻次熱點數據的計算規(guī)則。

可以考慮的計算規(guī)則包括：分析前端傳入的SQL過濾條件中的日期參數，如果命中集算器（倉庫版）已經緩存的日期，則認為是熱點數據，直接訪問。沒有命中，則將SQL轉發(fā)給后臺傳統(tǒng)數據庫執(zhí)行。集算器還可以記錄訪問情況，用于分析熱點數據的時間和空間分布。

具備諸多黑科技的集算器（倉庫版）已經可以與傳統(tǒng)數據庫、內存數據庫等昂貴的產品一較高下，但是其價格卻又非常的實在和優(yōu)惠?？梢灶A見，這款產品必將為您的軟件項目帶來新的價值和機遇?，F在，潤乾官網提供全功能的試用版本，立即下載體驗吧！