數(shù)據(jù)庫(kù)報(bào)表數(shù)據(jù)導(dǎo)出性能調(diào)優(yōu)方法是什么

本篇內(nèi)容介紹了“數(shù)據(jù)庫(kù)報(bào)表數(shù)據(jù)導(dǎo)出性能調(diào)優(yōu)方法是什么”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

報(bào)表數(shù)據(jù)導(dǎo)出是一個(gè)常見(jiàn)且令人頭疼的問(wèn)題，該功能主要放在管理后臺(tái)，系統(tǒng)運(yùn)營(yíng)人員經(jīng)常需要導(dǎo)出一些數(shù)據(jù)做分析。報(bào)表導(dǎo)出遇到的難題，一是數(shù)據(jù)量大，二是查詢(xún)耗時(shí)，也是最容易導(dǎo)致系統(tǒng)OOM或者拖垮數(shù)據(jù)庫(kù)的問(wèn)題。

如何解決查詢(xún)慢的問(wèn)題

報(bào)表數(shù)據(jù)導(dǎo)出通常伴隨著復(fù)雜的sql語(yǔ)句，使用很多的查詢(xún)條件，因此在設(shè)計(jì)表的時(shí)候我們都會(huì)通過(guò)添加冗余的列來(lái)減少多表連接查詢(xún)，如果是最近幾年的項(xiàng)目，考慮到報(bào)表數(shù)據(jù)量增長(zhǎng)速度快且數(shù)據(jù)量大可能會(huì)使用分表解決，不過(guò)單表的數(shù)據(jù)量依然很大，且在遇到復(fù)雜的查詢(xún)語(yǔ)句時(shí)也需要查多個(gè)表并聚合結(jié)果，這依然是很耗時(shí)的操作。

目前關(guān)系型數(shù)據(jù)庫(kù)也被化分為OLAP和OLTP數(shù)據(jù)庫(kù)，阿里AnalyticDB（adb）就屬于分析型的分布式數(shù)據(jù)庫(kù)（OLAP），主要用于數(shù)據(jù)分析，使用列存方式提升查詢(xún)效率。adb非常適合應(yīng)用于報(bào)表統(tǒng)計(jì)查詢(xún)業(yè)務(wù)。

如何降低內(nèi)存的使用

poi是一個(gè)提供讀寫(xiě)excel文件的API類(lèi)庫(kù)，但使用不當(dāng)很容易導(dǎo)致系統(tǒng)OOM，miniexcel正是為解決這一問(wèn)題而編寫(xiě)的，當(dāng)然，筆者在編寫(xiě)miniexcel時(shí)也考慮到了另一個(gè)問(wèn)題，那就是大批量數(shù)據(jù)一次查詢(xún)出來(lái)會(huì)占用太多內(nèi)存，報(bào)表數(shù)據(jù)導(dǎo)出通常是大批量的數(shù)據(jù)，比如幾十萬(wàn)、上百萬(wàn)，因此miniexcel也提供了分頁(yè)查詢(xún)導(dǎo)出的功能。

除此之外，miniexcel還支持自定義導(dǎo)入導(dǎo)出。miniexcel是一個(gè)基于poi封裝的輕量且擴(kuò)展性強(qiáng)的報(bào)表導(dǎo)入導(dǎo)出工具，支持.xls、.xlsx、csv格式。  

easyexcel是阿里開(kāi)源的一款excel導(dǎo)入導(dǎo)出工具，也是基于poi封裝的，因此easyexcel與miniexcel在性能上并沒(méi)有太大區(qū)別。我們拿easyexcel與miniexcel做過(guò)對(duì)此測(cè)試，對(duì)比結(jié)果是miniexcel的導(dǎo)出耗時(shí)以及導(dǎo)出文件的大小都略?xún)?yōu)于easyexcel，這一部分原因與miniexcel放棄支持表格樣式有關(guān)。

目前miniexcel正在洋蔥集團(tuán)內(nèi)部推廣使用，作者也會(huì)一直維護(hù)這個(gè)項(xiàng)目，也非常歡迎業(yè)內(nèi)朋友使用，并一起改進(jìn)miniexcel。

最近我們的管理后臺(tái)頻繁被操作系統(tǒng)kill掉，筆者也從運(yùn)維那里拿到一份dump數(shù)據(jù)，但由于運(yùn)維提供的這份dump數(shù)據(jù)是在系統(tǒng)正常情況下導(dǎo)出的，因此并未能找出原因，不過(guò)從這份數(shù)據(jù)能夠看出，系統(tǒng)在正常使用情況下，所消費(fèi)的堆內(nèi)存大約是2.3g，大部分是mybatis與spring消耗的內(nèi)存，其它比較耗內(nèi)存的是一個(gè)數(shù)據(jù)導(dǎo)出操作，堆中存儲(chǔ)了五十多萬(wàn)條記錄，因此筆者猜測(cè)系統(tǒng)頻繁掛掉是同時(shí)執(zhí)行多個(gè)數(shù)據(jù)導(dǎo)出任務(wù)導(dǎo)致的。

雖然miniexcel提供了分頁(yè)導(dǎo)出的功能，但我們項(xiàng)目中并未廣泛使用這一特性，原因只有一個(gè)，使用分頁(yè)導(dǎo)出功能雖然能降低對(duì)內(nèi)存的使用，避免多人同時(shí)導(dǎo)出大批量數(shù)據(jù)導(dǎo)致系統(tǒng)內(nèi)存消耗過(guò)高最后被操作系統(tǒng)kill掉，但由于查詢(xún)本就耗時(shí)，分頁(yè)查詢(xún)會(huì)更加耗時(shí)，所以分頁(yè)功能目前只用于能用上索引的分頁(yè)查詢(xún)數(shù)據(jù)導(dǎo)出功能。

如果將報(bào)表導(dǎo)出操作的數(shù)據(jù)查詢(xún)從查mysql數(shù)據(jù)庫(kù)改為查詢(xún)分析型數(shù)據(jù)倉(cāng)庫(kù)adb，將miniexcel提供的分頁(yè)導(dǎo)出功能與adb的高性能查詢(xún)結(jié)合，就能完美的解決數(shù)據(jù)導(dǎo)出占用大量?jī)?nèi)存導(dǎo)致系統(tǒng)頻繁掛掉的問(wèn)題。這是一個(gè)報(bào)表數(shù)據(jù)導(dǎo)出相關(guān)業(yè)務(wù)功能的優(yōu)化建議。

“數(shù)據(jù)庫(kù)報(bào)表數(shù)據(jù)導(dǎo)出性能調(diào)優(yōu)方法是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注億速云網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！