大數(shù)據(jù)交叉報(bào)表性能優(yōu)化實(shí)例分析

這篇文章主要為大家分析了大數(shù)據(jù)交叉報(bào)表性能優(yōu)化實(shí)例分析的相關(guān)知識(shí)點(diǎn)，內(nèi)容詳細(xì)易懂，操作細(xì)節(jié)合理，具有一定參考價(jià)值。如果感興趣的話，不妨跟著跟隨小編一起來看看，下面跟著小編一起深入學(xué)習(xí)“大數(shù)據(jù)交叉報(bào)表性能優(yōu)化實(shí)例分析”的知識(shí)吧。

軟硬件環(huán)境

OS：win7

Cpu：8 核

集算報(bào)表：1120 安裝版

Jvm：1G

數(shù)據(jù)庫：oracle11g

客戶無法解決的問題：

有一個(gè)交叉匯總報(bào)表，其實(shí)格式很簡單，行列各一個(gè)統(tǒng)計(jì)維度。但后臺(tái)業(yè)務(wù)表的數(shù)據(jù)有 175 萬條，且還要與其他表（大概在 7w 條左右）做 join，如果由 sql 來處理，可以想象到會(huì)慢到什么程度，關(guān)鍵受各種條件影響，能否查出數(shù)據(jù)都是問題。

注：ACCORECEIVE 表 175w 條數(shù)據(jù)

目前，測試 birt 需 5 分鐘，借助各種中間表與視圖。報(bào)表友商無法出表。

要求：能做出該報(bào)表在 web 展現(xiàn)，且重要的是速度要快，另外，數(shù)據(jù)（目前大概是 5 年數(shù)據(jù)）是實(shí)時(shí)增加的。

客戶報(bào)表格式及目前所用 sql：

報(bào)表格式：

Sql：

select LOCATIONS.loupan loupan,
       LOCATIONS.LPORDERNUM,
       nvl(ACCORECEIVE.RECEIVABLEAMOUNT, 0) yingshou,
       chargeproct.Description CHARPNAME,
       chargeproct.ordernum chordernum
  from ACCORECEIVE,V\_LOCATION\_LP\_LG\_DY LOCATIONS,chargeproct
   where ACCORECEIVE.Org\_Id = LOCATIONS.Org\_Id
   and ACCORECEIVE.Sub\_Org\_Id = LOCATIONS.Sub\_Org\_Id
   and ACCORECEIVE.Fk_Locationid = LOCATIONS.Locationid
   and ACCORECEIVE.Fk_Chargeproctid = chargeproct.chargeproctid(+)
   and ACCORECEIVE.Wf_Status not in('作廢')

問題分析及解決方案

常規(guī)模式下，大數(shù)據(jù)要出交叉報(bào)表幾乎很難，這里受 sql 效率慢、jvm 等的影響，一次如果把所有數(shù)據(jù)全部取出則必然極大可能內(nèi)存溢出。另外，大數(shù)據(jù)表再有 join，即便能取，那取數(shù)速度上肯定也無法保證（sql join 的效率低），上面 sql 中能體現(xiàn)出所有問題。

解決方案：

1、為避免一次性取數(shù)內(nèi)存溢出，可采用集算器游標(biāo) cursor 取數(shù)；  –cursor

2、去除不需要字段及 join 字段。分析后發(fā)現(xiàn)，客戶實(shí)際不需要 org_id、sub_org_id 的關(guān)聯(lián)；

3、取數(shù)后可根據(jù)客戶所出報(bào)表對應(yīng)做數(shù)據(jù)處理，這里可 groups 處理一次分組匯總；–替代報(bào)表表達(dá)式 group

4、為擺脫 sql join 效率低問題，可將 join 放在集算器內(nèi)處理，這里 ACCORECEIVE 與 V_LOCATION_LP_LG_DY 表（query 即可，數(shù)據(jù)不大）分開取數(shù)；  –switch 連接

注：集算器中測試了兩表 sql 中 join，時(shí)間大概需 5 分鐘。

5、結(jié)合客戶報(bào)表格式及所用的數(shù)據(jù)庫表，可將上面 sql 中 chargeproct 表放到報(bào)表 sql 取數(shù)，因其僅體現(xiàn)顯示值作用，且僅幾十條數(shù)據(jù)。

集算腳本：

注：代碼有每一步的作用說明

關(guān)于“大數(shù)據(jù)交叉報(bào)表性能優(yōu)化實(shí)例分析”就介紹到這了,更多相關(guān)內(nèi)容可以搜索億速云以前的文章，希望能夠幫助大家答疑解惑，請多多支持億速云網(wǎng)站！