比較 csv 文件中數(shù)據(jù)差異

????????csv文件存儲數(shù)據(jù)時在結(jié)構(gòu)上基本和一個數(shù)據(jù)庫表相當，不過因為讀寫方便，所以使用頻率很高，例如輸出一些臨時結(jié)果，或者持續(xù)記錄類似日志形式的數(shù)據(jù)。不過，當需要對這些數(shù)據(jù)進一步處理時，如果還要先導(dǎo)入數(shù)據(jù)庫，那么csv本身的便利性也就沒有了。

事實上，通過集算器，可以直接對csv文件進行處理，而且還可以進行一些“高級”操作，就像本文要介紹的比較兩個csv文件的差異。

???????? 假設(shè)在一個簡單的銷售系統(tǒng)中，前端系統(tǒng)只負責錄入，包括新增、修改和刪除訂單，同時，每天會把數(shù)據(jù)文件做一次備份歸檔。在后期分析中，需要查看某個時間段內(nèi)的新增、取消和修改的訂單。下面就是不使用數(shù)據(jù)庫，直接比較csv文件的操作。

例子中使用了2015年3月的兩個文件，早一點的是old.csv，晚一點的是new.csv。文件中的邏輯主鍵是userName和date，需要分別找出新增的、刪除的、修改的數(shù)據(jù)行。源文件如下：

???????? 直接觀察數(shù)據(jù)，可以看到new.csv中的第2、3行是新增的記錄，第4行是修改的記錄，old.csv中第3行是刪除的記錄。

???????? 集算器代碼如下：

???????? A1,B1：以逗號為分隔符讀入文件。

???????? A2,B2：將數(shù)據(jù)按照關(guān)鍵字排序。因為后面使用merge函數(shù)要求數(shù)據(jù)有序。

???????? A3：函數(shù)merge可進行多數(shù)據(jù)集歸并，使用選項@d表示歸并時找出差集。類似地還有并集選項@u，交集選項@i。新增記錄實際上就是較新的數(shù)據(jù)和較舊數(shù)據(jù)按關(guān)鍵字的差集，計算結(jié)果如下：

???????? A4：同樣的，較舊數(shù)據(jù)和較新數(shù)據(jù)按關(guān)鍵字的差集就是刪除的記錄，計算結(jié)果如下：

???????? A5：將關(guān)鍵字作為普通字段計算差集，找到修改過的所有記錄。計算結(jié)果如下：

???????? A6：要計算更新的記錄，把A5作為中間計算結(jié)果，計算A5和“新增”記錄之間的差集。計算結(jié)果如下：

?

???????? B6：將A6返回給JAVA或報表工具。

?

???????? 上述腳本完成了所有的數(shù)據(jù)處理工作，接下來還可以通過JDBC將集算器腳本集成在JAVA里。JAVA代碼如下：

???????? //建立esProc jdbc連接

???????? Class.forName("com.esproc.jdbc.InternalDriver");

???????? con= DriverManager.getConnection("jdbc:esproc:local://");

???????? //調(diào)用esProc，其中test是腳本文件名，可接收參數(shù)

???????? st =(com.esproc.jdbc.InternalCStatement)con.prepareCall("call test()");????????????? ????????

????????com.esproc.jdbc.InternalCStatement st = (com.esproc.jdbc.InternalCStatement)con.prepareCall("call test()");

???????? st.execute();//執(zhí)行esProc存儲過程

???????? ResultSet set = st.getResultSet();//獲得計算結(jié)果

?

???????? 而如果要將多個數(shù)據(jù)集返回給JAVA，可以將B6的代碼改為：return new,delete,update。