數(shù)據(jù)分析用它就夠了 | 37 個場景告訴你為什么

【報表查詢性能】

1. 數(shù)據(jù)量大或并發(fā)多導致的查詢性能低下，BI 界面拖拽響應很慢

• 通過集算器編寫更為簡單高效的算法加速計算進程，提升查詢性能

• 采用集算器可控存儲和索引機制，為 BI（CUBE）提供高速的數(shù)據(jù)存儲

2.T+0 實時全量查詢報表涉及數(shù)據(jù)量大，影響生產(chǎn)系統(tǒng)運行，而分庫后又難以實施跨庫混合運算

• 將冷熱數(shù)據(jù)分離，僅將當期熱數(shù)據(jù)存放在數(shù)據(jù)庫中，冷數(shù)據(jù)存儲在文件系統(tǒng)或數(shù)據(jù)庫中，通過集算器完成跨源（庫）計算，完成多源數(shù)據(jù)匯總、復雜計算，實現(xiàn) T+0 全量數(shù)據(jù)實時查詢

• 集算器提供不同數(shù)據(jù)庫的基本 SQL 翻譯功能，數(shù)據(jù)分庫（同構(gòu)異構(gòu)均可）后，仍然可以使用通用 SQL 進行跨庫查詢

3. 數(shù)據(jù)關(guān)聯(lián)運算太多，十幾甚至幾十個表 JOIN，性能惡劣

• 集算器重新定義關(guān)聯(lián)運算，可以根據(jù)計算特征選用不同且高效的關(guān)聯(lián)算法提升多表關(guān)聯(lián)性能

• 一對多的主外鍵表可采用指針式連接提高性能

• 一對一的同維表和多對一的主子表可采用有序歸并提升性能

4. 數(shù)據(jù)源 SQL 復雜，嵌套層次多，數(shù)據(jù)庫優(yōu)化路徑不可控，運算性能低

• 集算器采用過程計算，分步實施計算簡化實現(xiàn)代碼，無需嵌套

• 過程中可以復用中間結(jié)果，性能更高

5. 報表從數(shù)據(jù)庫中取數(shù)量大，JDBC 傳輸性能低

• 集算器通過（多線程）并行計算與數(shù)據(jù)庫建立多個連接并行取數(shù)提升取數(shù)性能

• 可將量大的冷數(shù)據(jù)事先存儲在庫外文件系統(tǒng)中，集算器基于文件直接查詢計算，避免通過 JDBC 取數(shù)

6. 清單式大報表難以及時呈現(xiàn)，采用數(shù)據(jù)庫分頁方式翻頁效率很差

• 集算器將計算和呈現(xiàn)做成兩個異步線程，取數(shù)線程發(fā)出 SQL 將數(shù)據(jù)緩存到本地交給呈現(xiàn)線程快速展現(xiàn)報表，此外取數(shù)線程只涉及一個事務不會出現(xiàn)數(shù)據(jù)不一致，保證數(shù)據(jù)準確性

【報表查詢開發(fā)】

7. 報表開發(fā)沒完沒了，占用程序員的過多工作量，找不到低成本高效率的應對手段

• 集算器幫助報表開發(fā)徹底工具化，不僅報表呈現(xiàn)層工具化，報表數(shù)據(jù)計算層也工具化，從而降低報表開發(fā)難度，報表實現(xiàn)更快更簡單

• 對人員要求更低，無需專業(yè)程序員

• 報表業(yè)務不穩(wěn)定導致報表沒完沒了不可能消滅，集算器提供了最低成本的應對

8. 業(yè)務人員取數(shù)需求多，敏捷 BI 并不管用，技術(shù)部門應對這些需求費時費力

• 集算器作為完備計算引擎，支持過程計算開發(fā)快捷

• 算法實現(xiàn)簡單，適合一般技術(shù)人員使用

• 提供可視化編程環(huán)境，即裝即用使用簡單

• 通過多源支持，基于 Excel/TxT/DB 直接計算無需入庫

9. 數(shù)據(jù)源 SQL 或存儲過程過于復雜，嵌套或步驟多，調(diào)試開發(fā)都很困難

• 集算器通過過程計算，分步編程簡化算法開發(fā)難度，算法短小、分步同時降低了維護難度，極大改善上千行 SQL 編寫調(diào)試和維護困難的情況

10.SQL（存儲過程）語法涉及數(shù)據(jù)庫方言，難以移植

• 集算器作為庫外通用計算引擎，可以編寫不依賴數(shù)據(jù)庫的通用算法，數(shù)據(jù)庫發(fā)生變化時無需更改核心算法，易于移植

11. 復雜過程運算用 SQL 很難寫，需要大量外部 Java 計算，開發(fā)效率低

• 集算器提供了完備的結(jié)構(gòu)化數(shù)據(jù)計算能力，解決了 JAVA 集合運算困難的問題，無需再用 JAVA 編寫

• 集算器還很方便集成到現(xiàn)有應用中，與應用完美結(jié)合

12.Java 和 SQL 編寫的數(shù)據(jù)源與報表模板分開存儲，程序耦合性太強，還難以做到熱切換

• 集算器可作為報表獨立的計算層，數(shù)據(jù)準備算法和報表模板一起存儲，共同管理，可與應用分開部署，降低應用的耦合度

• 解釋執(zhí)行的集算器腳本可實現(xiàn)熱切換

13. 涉及 MySQL 等開源數(shù)據(jù)庫，窗口函數(shù)等許多高級語法不支持，開發(fā)困難

• 集算器作為完備計算引擎，提供了豐富的結(jié)構(gòu)化數(shù)據(jù)運算函數(shù)，改善 MySQL 無法使用窗口函數(shù)導致的編碼困難

14. 某些數(shù)據(jù)庫（如 Vertica）對存儲過程支持不好，難以實現(xiàn)復雜過程

• 集算器作為完備結(jié)構(gòu)化數(shù)據(jù)計算引擎，可以充當通用庫外存儲過程，提供不依賴于數(shù)據(jù)庫的強計算能力和易移植特性

15. 涉及 NoSQL 數(shù)據(jù)、文本、Excel 等，無法使用 SQL 運算

• 集算器提供直接針對文件使用 SQL 查詢的功能

• 還可以編寫腳本讀取 NoSQL、文本、Excel 數(shù)據(jù)，實施計算，實現(xiàn)復雜度與 SQL 相當或更低

16. 涉及 Web 或 IOT 等實時數(shù)據(jù)，有 json/xml 格式需要處理，事先導入數(shù)據(jù)庫不僅效率低又影響實時性

• 集算器提供了對 JSON/XML 這類分層數(shù)據(jù)的支持，基于這類數(shù)據(jù)計算不僅編碼簡單，而且性能高實時性好

【ETL 開發(fā)與性能】

17.ETL 工具不能直接解決復雜業(yè)務邏輯，還要大量編寫腳本，而 ETL 工具的腳本功能常常弱于 SQL，開發(fā)困難

• 集算器具備強計算能力，非常擅長復雜計算，可以輔助或替代現(xiàn)有 ETL 工具實現(xiàn)復雜業(yè)務邏輯，實現(xiàn)復雜度遠遠低于硬編碼 ETL 計算腳本

18.SQL（存儲過程）缺乏調(diào)試機制，開發(fā)效率低

• 集算器支持過程計算，提供可視化編程環(huán)境，每步的計算結(jié)果所見即所得，還提供設置斷點、單步執(zhí)行、執(zhí)行到光標等編輯調(diào)試功能，開發(fā)效率極高

19. 存儲過程步驟多，代碼長，幾百甚至上千行，大量使用臨時表，性能低下而且難以維護

• 相對存儲過程需要反復讀寫磁盤使用中間結(jié)果，集算器提供豐富的運算，大量減少中間結(jié)果落地，性能更高

• 集算器采用過程計算，提供豐富函數(shù)類庫，實現(xiàn)算法短小精悍易于維護

• 集算器腳本可以脫離數(shù)據(jù)庫編寫和運行，減少數(shù)據(jù)庫安全隱患

20. 涉及 NoSQL、文本、Excel 等數(shù)據(jù)庫外數(shù)據(jù)，無法使用 SQL，只能硬編碼，開發(fā)效率太低且難以維護

• 集算器提供通過 SQL 針對文件的查詢功能

• 還可以針對 NoSQL、文本和 Excel 直接進行多源混合計算，編碼效率遠高于硬編碼

21. 涉及多數(shù)據(jù)庫和非數(shù)據(jù)庫的整合，SQL 無法跨數(shù)據(jù)源計算，需要事先匯總到單庫，ETL 做成 ELT 和 LET，數(shù)據(jù)庫臃腫且性能差

• 集算器作為完備計算引擎可以實現(xiàn)真正的 ETL，基于多源混合計算能力先將多源數(shù)據(jù)進行清洗（E）傳輸（T），將整理好數(shù)據(jù)加載（L）到目標數(shù)據(jù)庫，避免匯總到單庫帶來的時間、空間和管理上的過多開銷

22. 復雜運算要用庫外的 Java 開發(fā)或編寫 UDF 才能完成，人工成本高昂

• 集算器采用過程計算，分步編寫代碼，提供豐富的類庫和方法，開發(fā)簡單易維護，大大降低編碼難度，提升實施效率

【數(shù)據(jù)倉庫與部署】

23. 生產(chǎn)庫和分析庫在一起，大數(shù)據(jù)運算可能影響生產(chǎn)系統(tǒng)運行，分庫又難以做到實時全量計算

• 集算器可基于生產(chǎn)庫和分析庫進行混合計算，量小的實時熱數(shù)據(jù)從生產(chǎn)庫查，將對生產(chǎn)系統(tǒng)的影響降到最低，量大的歷史冷數(shù)據(jù)從分析庫查，兩部分數(shù)據(jù)混合計算實現(xiàn)全量數(shù)據(jù)實時計算

24. 數(shù)據(jù)量變大，數(shù)據(jù)倉庫性能變低，總要擴容，成本高昂

• 集算器允許將量大且不再變化的歷史數(shù)據(jù)從數(shù)據(jù)庫導出到文件系統(tǒng)存儲，借助集算器完備的數(shù)據(jù)計算能力，直接基于文件系統(tǒng)計算，同時支持與數(shù)據(jù)庫混合計算，從而降低數(shù)據(jù)庫擴容壓力，實施成本低

25. 中央數(shù)據(jù)倉庫支撐了過多應用，并發(fā)過多導致性能不可控，前端用戶體驗差

• 集算器易于應用集成，可將數(shù)據(jù)倉庫中的部分計算和數(shù)據(jù)移植到應用層借助集算器計算能力實施數(shù)據(jù)存儲和計算，分擔數(shù)據(jù)倉庫壓力

26. 數(shù)據(jù)倉庫中有大量非原始數(shù)據(jù)的中間表，冗余嚴重，而且年代久遠非常難管理

• 集算器支持將數(shù)據(jù)庫的中間表移植到 I/O 性能更高的文件系統(tǒng)，降低數(shù)據(jù)庫冗余，集算器直接基于文件計算，性能更高，還方便實施并行計算，進一步提升效率

• 中間表在庫外采用文件系統(tǒng)的樹狀結(jié)構(gòu)進行分類管理，優(yōu)于數(shù)據(jù)庫的線性結(jié)構(gòu)，管理方便

27. 很多業(yè)務應用中都要部署單獨的數(shù)據(jù)集市或前置數(shù)據(jù)庫，成本高昂

• 集算器的強計算能力 + 數(shù)據(jù)緩存 + 數(shù)據(jù)網(wǎng)關(guān) + 多源混算可以替代單獨數(shù)據(jù)集市或前置數(shù)據(jù)庫，成本低廉

【Hadoop 大數(shù)據(jù)平臺】

28.Hadoop 集群規(guī)模不大，只有幾個或十幾個節(jié)點，管理的數(shù)據(jù)并不多，難以發(fā)揮其優(yōu)勢，但維護卻很復雜

• 集算器作為輕量級大數(shù)據(jù)解決非常適合幾個到幾十個節(jié)點的集群規(guī)模，相對 hadoop 集算器資源利用率更高，節(jié)約資源，同樣的計算指標需要硬件更少，同樣的硬件計算效率更高

29.Hadoop 難以完成需要的計算，結(jié)果又在旁邊部署傳統(tǒng)數(shù)據(jù)庫來實施計算，結(jié)構(gòu)累贅且效率低

• 集算器可將 hadoop 作為數(shù)據(jù)源，實現(xiàn) hadoop 難以完成的計算

• 同時支持實時查詢，避免部署 RDB 帶來的 ETL 時間成本高，數(shù)據(jù)實時性差，商用 RDB 價格成本高等問題

30.Hadoop/Spark 提供的計算接口不夠用，復雜運算還要寫 UDF，開發(fā)效率低

• 集算器計算引擎具備復雜計算實現(xiàn)簡單、效率高的特點，適合使用 hadoop 或 spark 卻還經(jīng)常需要編寫 UDF 的場景，極大提升開發(fā)效率

31.Hadoop/Spark 存儲和調(diào)度過于自動化，難以控制數(shù)據(jù)分布和任務安排以獲得最優(yōu)性能

• 集算器提供靈活的數(shù)據(jù)分布和計算分布，可以根據(jù)數(shù)據(jù)特征、計算特征和硬件特征實施個性化大數(shù)據(jù)計算從而獲得最高性能，解決了 hadoop/spark 過于透明導致無法實施高性能計算的難題

32.Spark 內(nèi)存耗用太大，硬件成本太高，很多運算超過內(nèi)存范圍還無法實施

• 集算器提供內(nèi)存和外存兩種計算方式，由于采用高效計算模型，內(nèi)存計算時效率更高、內(nèi)存利用率更低，從而降低成本

• 當內(nèi)存容量不夠或無需全內(nèi)存計算時，集算器采用外存計算從而減輕對內(nèi)存容量的依賴，硬件成本更低

33. 試圖用 HBase 解決大數(shù)據(jù)查詢問題，但效果很差

• 集算器借助高性能計算和高性能數(shù)據(jù)存儲特征，優(yōu)化所以體系，很好解決了 Hbase 等 KV 數(shù)據(jù)庫批量查詢效率低下的難題

【Python 等桌面數(shù)據(jù)開發(fā)】

34.Python 并非專門為結(jié)構(gòu)化數(shù)據(jù)計算設計，開源包貢獻者不同，風格不統(tǒng)一，復雜過程編寫并不簡單

• 集算器專為結(jié)構(gòu)化數(shù)據(jù)計算設計，支持過程化計算，提供了豐富的結(jié)構(gòu)化數(shù)據(jù)集算函數(shù)，提供即裝即用的可視化編輯調(diào)試環(huán)境，非常適合進行桌面數(shù)據(jù)分析，隨裝隨用，隨用隨走

35. 涉及 Excel/json 等非庫數(shù)據(jù)，Python 等開源技術(shù)雖然接口豐富，但版本混亂，難以駕馭

• 集算器具備完備的數(shù)據(jù)計算能力，作為商業(yè)軟件，提供了豐富的接口處理 Excel/JSON 等非庫數(shù)據(jù)，即裝即用，避免了 Python 等開源技術(shù)版本混亂、使用困難

36.Python 缺乏自有大數(shù)據(jù)，幾乎不能寫并行程序，無法充分利用多 CPU 能力

• 集算器提供了多線程并行計算和分布式計算能力，通過簡單的腳本即可實現(xiàn)并行計算，可充分利用多 CPU 核能力實施高性能計算

37.Python 代碼難以和 Java 集成，算法需要嵌入到生產(chǎn)系統(tǒng)時常常還要重寫

• 集算器可作為計算中間件無縫嵌入應用系統(tǒng)，桌面數(shù)據(jù)分析編寫的腳本可直接移植到生產(chǎn)系統(tǒng)中，無需重寫