簡化 MongoDB 關(guān)聯(lián)運算

MongoDB屬于 NoSql 中的基于分布式文件存儲的文檔型數(shù)據(jù)庫，這種bson格式的文檔結(jié)構(gòu)，更加貼近我們對物體各方面的屬性描述。而在使用 MongoDB 存儲數(shù)據(jù)的過程中，有時候難免需要進行關(guān)聯(lián)表查詢。自從 MongoDB 3.2 版本后，它提供了 $lookup 進行關(guān)聯(lián)表查詢，讓查詢功能改進了不少。但在實現(xiàn)應(yīng)用場景中，所遇到的環(huán)境錯綜復(fù)雜，問題解決也非易事，腳本書寫起來也并不簡單。好在有了集算器 SPL 語言的協(xié)助，處理起來就相對容易多了。
        本文我們將針對 MongoDB 在關(guān)聯(lián)運算方面的問題進行討論分析，并通過集算器 SPL 語言加以改進，方便用戶使用 MongoDB。討論將分為以下幾個部分：
1. 關(guān)聯(lián)嵌套結(jié)構(gòu)情況 1…………………………………………….. 1
2. 關(guān)聯(lián)嵌套結(jié)構(gòu)情況 2…………………………………………….. 3
3. 關(guān)聯(lián)嵌套結(jié)構(gòu)情況 3…………………………………………….. 4
4. 兩表關(guān)聯(lián)查詢………………………………………………………. 6
5. 多表關(guān)聯(lián)查詢………………………………………………………. 8
6. 關(guān)聯(lián)表中的數(shù)組查找…………………………………………… 10
Java 應(yīng)用程序調(diào)用 DFX 腳本…………………………………… 12

1.關(guān)聯(lián)嵌套結(jié)構(gòu)情況1

兩個關(guān)聯(lián)表，表 A 與表 B 中的內(nèi)嵌文檔信息關(guān)聯(lián), 且返回的信息在內(nèi)嵌文檔中。表 childsgroup 字段 childs 是嵌套數(shù)組結(jié)構(gòu)，需要合并的信息 name 在其下。    

測試數(shù)據(jù)：  

history:

childsgroup:

表History中的child_id與表childsgroup中的childs.id關(guān)聯(lián)，希望得到下面結(jié)果：

{
    "_id" : ObjectId("5bab2ae8ab2f1bdb4f434bc3"),
    "id" : "001",
    "history" : "today worked",
    "child_id" : "ch001",
    "childInfo" :  
    {
         "name" : "a",
        " mobile" :  1111
    }
   ………………
}  

Mongo 腳本

       這個腳本用了幾個函數(shù)lookup、pipeline、match、unwind、replaceRoot處理，一般 mongodb 用戶不容易寫出這樣復(fù)雜腳本；那么我們再看看 spl 腳本是如何實現(xiàn)的：

SPL腳本 ( 文件名：childsgroup.dfx)

關(guān)聯(lián)查詢結(jié)果：

腳本說明：
       A1：連接 mongodb 數(shù)據(jù)庫。
       A2：獲取 history 表中的數(shù)據(jù)。
       A3：獲取 childsgroup 表中的數(shù)據(jù)。
       A4：將 childsgroup 中的 childs 數(shù)據(jù)提取出來合并成序表。
       A5：表 history 中的 child_id 與表 childs 中的 id 關(guān)聯(lián)查詢，追加 info 字段, 返回序表。
       A6：關(guān)閉數(shù)據(jù)庫連接。

       相對 mongodb 腳本寫法，SPL 腳本的難度降低了不少，思路也更加清晰，也不需要再去熟悉有關(guān) mongo 函數(shù)的用法，以及如何去組合處理數(shù)據(jù)等，節(jié)約了不少時間。

2.關(guān)聯(lián)嵌套結(jié)構(gòu)情況 2

兩個關(guān)聯(lián)表，表 A 與表 B 中的內(nèi)嵌文檔信息關(guān)聯(lián), 將信息合并到內(nèi)嵌文檔中。表 txtPost 字段 comment 是嵌套數(shù)組結(jié)構(gòu)，需要把 comment_content 合并到其下。  

txtComment：

txtPost

期望結(jié)果：

Mongo 腳本

表txtPost 按 comment 拆解成記錄，然后與表 txtComment 關(guān)聯(lián)查詢,將其結(jié)果放到數(shù)組中，再將數(shù)組拆解成記錄，將comment_content 值移到 comment 下，最后分組合并。

SPL 腳本：

關(guān)聯(lián)查詢結(jié)果：  

腳本說明：
      A1：連接 mongodb 數(shù)據(jù)庫。
      A2：獲取 txtPost 表中的數(shù)據(jù)。
      A3：獲取 txtComment 表中的數(shù)據(jù)。
      A4：將序表 A2 下的 comment 與 post_no 組合成序表，其中 post_no 改名為 pno。
      A5：序表 A4 通過 comment_no 與序表 A3 關(guān)聯(lián)，追加字段 comment_content，將其改名為 Content。
      A6：按 pno 分組返回序表，~ 表示當前記錄。
      A7：關(guān)閉數(shù)據(jù)庫連接。

      Mongo、SPL 腳本實現(xiàn)方式類似，都是把嵌套結(jié)構(gòu)的數(shù)據(jù)轉(zhuǎn)換成行列結(jié)構(gòu)的數(shù)據(jù)，再分組合并。但 SPL 腳本的實現(xiàn)更簡單明了。

3.關(guān)聯(lián)嵌套結(jié)構(gòu)情況 3

兩個關(guān)聯(lián)表，表 A 與表 B 中的內(nèi)嵌文檔信息關(guān)聯(lián), 且返回的信息在記錄上。表 collection2 字段 product 是嵌套數(shù)組結(jié)構(gòu)，返回的信息是 isCompleted 等字段 。  

測試數(shù)據(jù)：
collection1:
{
   _id: '5bc2e44a106342152cd83e97',
   description
    {
      status: 'Good',
      machine: 'X'
     },
   order: 'A',
   lot: '1'
   };
  
collection2：
{
   _id: '5bc2e44a106342152cd83e80',
   isCompleted: false,
   serialNo: '1',
   batchNo: '2',
   product: [ // note the subdocuments here
        {order: 'A', lot: '1'},
        {order: 'A', lot: '2'}
    ]
}

期待結(jié)果
{
   _id: 5bc2e44a106342152cd83e97,
   description:
       {
         status: 'Good',
         machine: 'X',
       },
   order: 'A',
   lot: '1' ,
   isCompleted: false,
   serialNo: '1',
   batchNo: '2'
}

Mongo 腳本

lookup 兩表關(guān)聯(lián)查詢，首個 addFields獲取isCompleted數(shù)組的第一個記錄，后一個addFields 轉(zhuǎn)換成所需要的幾個字段信息

SPL腳本：

腳本說明：
      A1：連接 mongodb 數(shù)據(jù)庫。
      A2：獲取 collection1 表中的數(shù)據(jù)。
      A3：獲取 collection2 表中的數(shù)據(jù)。
      A4：根據(jù)條件 order, lot 從序表 A2 中查詢記錄，然后追加序表 A3 中的字段 serialNo, batchNo，返回合并后的序表。
      A5：關(guān)閉數(shù)據(jù)庫連接。
 
      Mongo、SPL 腳本都實現(xiàn)了預(yù)期的結(jié)果。SPL 很清晰地實現(xiàn)了從數(shù)據(jù)記錄中的內(nèi)嵌結(jié)構(gòu)中篩選，將符合條件的數(shù)據(jù)合并成新序表。

4.兩表關(guān)聯(lián)查詢

從關(guān)聯(lián)表中選擇所需要的字段組合成新表。

Collection1:

  collection2:

期望結(jié)果：

Mongo 腳本

lookup 兩表進行關(guān)聯(lián)查詢，redact 對記錄根據(jù)條件進行遍歷處理，project 選擇要顯示的字段。

SPL腳本：

腳本說明：
      A1：連接 mongodb 數(shù)據(jù)庫。
      A2：獲取c1表中的數(shù)據(jù)。
      A3：獲取c2表中的數(shù)據(jù)。
      A4：兩表按字段 user1,user2 關(guān)聯(lián)，追加序表 A3 中的 output 字段，返回序表。
      A5：關(guān)閉數(shù)據(jù)庫連接。

      Mongo、SPL 腳本都實現(xiàn)了預(yù)期的結(jié)果。SPL 通過 join 把兩個關(guān)聯(lián)表不同的字段合并成新表，與關(guān)系數(shù)據(jù)庫用法類似。

5.多表關(guān)聯(lián)查詢

多于兩個表的關(guān)聯(lián)查詢，結(jié)合成一張大表。

Doc1:

  Doc2:

  Doc3:

合并后的結(jié)果：
{
    "_id" : ObjectId("5901a4c63541b7d5d3293766"),
    "firstName" : "shubham",
    "lastName" : "verma",
    "address" : {
        "address" : "Gurgaon"
    },
    "social" : {
        "fbURLs" : "http://www.facebook.com",
        "twitterURLs" : "http://www.twitter.com"
    }
}

Mongo 腳本

      由于 Mongodb 數(shù)據(jù)結(jié)構(gòu)原因，寫法也多樣化，展示也各不相同。

SPL腳本：

      Mongo、SPL 腳本都實現(xiàn)了預(yù)期的結(jié)果。此 SPL 腳本與上面例子類似，只是多了一個關(guān)聯(lián)表，每次 join 就新增加字段，最后疊加構(gòu)成一張大表。

      SPL 腳本的簡潔性、統(tǒng)一性非常明顯。

6.關(guān)聯(lián)表中的數(shù)組查找

從關(guān)聯(lián)表記錄數(shù)據(jù)組中查找符合條件的記錄, 用給定的字段組合成新表。

測試數(shù)據(jù)：

users:

workouts:  

期望結(jié)果：  

Mongo 腳本

把關(guān)聯(lián)表 users,workouts 查詢結(jié)果放到數(shù)組中，再將數(shù)組拆解，提升子記錄的位置，去掉不需要的字段。  

SPL腳本 (users.dfx)：

腳本說明：
      A1：連接 mongodb 數(shù)據(jù)庫。
      A2：獲取users表中的數(shù)據(jù)。
      A3：獲取workouts表中的數(shù)據(jù)。
      A4：查詢序表 A3 的 _id 值存在于序表A2中 workouts 數(shù)組的記錄, 并追加 name 字段。返回合并的序表。
      A5：關(guān)閉數(shù)據(jù)庫連接。
      由于需要獲取序列的交集不為空為條件，故將 _id 轉(zhuǎn)換成序列。
      Mongo、SPL 腳本都實現(xiàn)了預(yù)期的結(jié)果。從腳本實現(xiàn)過程來看，SPL 集成度高而又不失靈活性，讓程序簡化了不少。

7.Java 應(yīng)用程序調(diào)用 DFX 腳本

      在通過 SPL 腳本對 MongoDB 數(shù)據(jù)進行了關(guān)聯(lián)計算后，其結(jié)果可以被 java 應(yīng)用程序很容易地使用。集算器提供了 JDBC 驅(qū)動程序，用 JDBC 存儲過程方式訪問，與調(diào)用存儲過程相同。（JDBC 具體配置參考《集算器教程》中的“ JDBC 基本使用”章節(jié) ）
   Java 調(diào)用主要過程如下：
   public void testUsers(){
       Connection con = null;
       com.esproc.jdbc.InternalCStatement st;
       try{
         // 建立連接
         Class.forName("com.esproc.jdbc.InternalDriver");
         con= DriverManager.getConnection("jdbc:esproc:local://");
         // 調(diào)用存儲過程，其中 users 是 dfx 的文件名
         st =(com. esproc.jdbc.InternalCStatement)con.prepareCall("call users>  ()");
         // 執(zhí)行存儲過程
         st.execute();
         // 獲取結(jié)果集
         ResultSet rs = st.getResultSet();
          。。。。。。。
   catch(Exception e){
         System.out.println(e);
   }
       可以看到，使用時按標準的 JDBC 方法操作，集算器很方便嵌入到 Java 應(yīng)用程序中。同時，集算器也支持 ODBC 驅(qū)動，因此集成到其它支持 ODBC 的語言也非常容易。  

       Mongo 存儲的數(shù)據(jù)結(jié)構(gòu)相對關(guān)系數(shù)據(jù)庫更復(fù)雜、更靈活，其提供的查詢語言也非常強、適應(yīng)面廣，同時需要了解函數(shù)也不少，函數(shù)之間的結(jié)合更是變化無窮，因此要熟練掌握并應(yīng)用也并非易事。集算器的離散性、易用性恰好能彌補 Mongo 這方面的不足，在降低 mongo 學(xué)習(xí)成本及使用復(fù)雜度、難度的同時，讓 mongo 的功能得到更充分的展現(xiàn)。