一招教你解決大數(shù)據(jù)量下的各種報(bào)表使用問題

在我們?nèi)粘Ｖ谱鲌?bào)表分析過程中，總會(huì)遇到各種問題。比如，報(bào)表底層數(shù)據(jù)日益增多、報(bào)表加載超慢，這些情況該怎么解決？

數(shù)據(jù)庫是最常見的能處理大數(shù)據(jù)的計(jì)算方案，而永洪能利用數(shù)據(jù)庫來完成數(shù)據(jù)計(jì)算。但是，有些報(bào)表的計(jì)算較為復(fù)雜，使用SQL實(shí)現(xiàn)會(huì)非常困難，這時(shí)，我們就會(huì)采用永洪報(bào)表呈現(xiàn)的直觀計(jì)算方式來完成數(shù)據(jù)的計(jì)算，這種方式導(dǎo)致后臺(tái)要直接處理大數(shù)據(jù)，不僅性能低下，而且很容易造成報(bào)表加載時(shí)間過長。

今天這篇文章，主要介紹永洪數(shù)據(jù)集市數(shù)據(jù)集，這種方式提供強(qiáng)大、便捷的數(shù)據(jù)處理方式，用戶可以輕松應(yīng)對(duì)大數(shù)據(jù)量場(chǎng)景下報(bào)表加載過慢的問題。

一、實(shí)現(xiàn)功能

將查詢結(jié)果按天增量導(dǎo)入永洪集市并對(duì)集市文件按天打上索引，永洪報(bào)表在處理邏輯時(shí)只會(huì)掃描查詢?nèi)掌趦?nèi)的數(shù)據(jù)。

二、實(shí)現(xiàn)步驟

1、設(shè)置參數(shù)

創(chuàng)建一個(gè)名為TEST_YH的SQL數(shù)據(jù)集，在查詢條件中加上參數(shù)<etd_date_lm>，此參數(shù)為動(dòng)態(tài)獲取昨日日期，后續(xù)會(huì)提到。

2、新建作業(yè)

在調(diào)度作業(yè)中新建任務(wù)，其中類型設(shè)置為：增量導(dǎo)入數(shù)據(jù)，數(shù)據(jù)集為上一步創(chuàng)建的TEST_YH的SQL數(shù)據(jù)集，文件夾為存放文件的名稱，最后我們選擇追加數(shù)據(jù)。

在任務(wù)最下方的腳本中設(shè)置可以動(dòng)態(tài)獲取昨天日期的參數(shù)<etd_date_lm>參數(shù)，setMeta("search_data_index",formatDate(a,"yyyy-MM-dd")) 是用來給數(shù)據(jù)集市文件設(shè)定屬性的，在數(shù)據(jù)集市數(shù)據(jù)集中可通過過濾條件查看這個(gè)屬性。

file = formatDate(a,"yyyy-MM-dd") 是創(chuàng)建一個(gè)數(shù)據(jù)集市文件的文件名。

3、生成文件

在調(diào)度任務(wù)中運(yùn)行此作業(yè)，就可以生成文件了。

我們還可以進(jìn)一步在管理系統(tǒng)下監(jiān)控預(yù)警中的數(shù)據(jù)集市文件信息統(tǒng)計(jì)中進(jìn)一步查看上一步生成的文件。

4、讀取數(shù)據(jù)

創(chuàng)建數(shù)據(jù)集市數(shù)據(jù)集，在文件夾中選擇之前生成的文件，文件過濾中根據(jù)需求選擇前臺(tái)傳遞的時(shí)間參數(shù)。

以上就是關(guān)于永洪數(shù)據(jù)集市數(shù)據(jù)集的使用介紹，永洪科技強(qiáng)大的產(chǎn)品功能，可以輕松應(yīng)對(duì)大數(shù)據(jù)量下的報(bào)表使用。