解決mongodb內(nèi)存不足的方法

小編給大家分享一下解決mongodb內(nèi)存不足的方法，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討方法吧！

mongodb每一個(gè)文檔默認(rèn)只有16M。聚合的結(jié)果是一個(gè)BSON文檔，當(dāng)超過(guò)16M大小時(shí)，就會(huì)報(bào)內(nèi)存不夠錯(cuò)誤。

exceeded memory limit for $group.but didn't allow external sort.

可以采用打開(kāi)使用磁盤(pán)來(lái)解決大小問(wèn)題。例如

db.flowlog.aggregate([{$group:{_id:"$_id"}}], {allowDiskUse: true})

java代碼片段

AggregationOptions options = new AggregationOptions.Builder().allowDiskUse(true).build();

Aggregation agg = Aggregation.newAggregation().withOptions(options);

但是如果結(jié)果集超過(guò)了16M，那么依然會(huì)報(bào)錯(cuò)誤。

采用一個(gè)下面的聚合方法

Aggregation agg = Aggregation.newAggregation(
                    Aggregation.group(field1
                            , field2
                            , field3)
                            .sum(field4).as("sampleField1")
                            .sum(field5).as("sampleField2"),
                    Aggregation.project(field4, field5),
                    new AggregationOperation() { 
                        @Override
                          public DBObject toDBObject(AggregationOperationContext context) {
                            return new BasicDBObject("$out", "test");
                        }
                    }).withOptions(options);
  mongo.aggregate(agg, sourceCollection, Test.class);

 如果要在聚合的時(shí)候增加一個(gè)常量，可采用以下形式

Aggregation agg = Aggregation.newAggregation(
                    Aggregation.group(
                            , OnofflineUserHistoryField.MAC
                            , StalogField.UTC_CODE)
                            .sum(OnofflineUserHistoryField.WIFI_UP_DOWN).as(OnofflineUserHistoryField.WIFI_UP_DOWN)
                            .sum(OnofflineUserHistoryField.ACTIVE_TIME).as(OnofflineUserHistoryField.ACTIVE_TIME),
                    Aggregation.project("mac","buildingId","utcCode",OnofflineUserHistoryField.ACTIVE_TIME, OnofflineUserHistoryField.WIFI_UP_DOWN).and(
                    new AggregationExpression() {
                        @Override
                        public DBObject toDbObject(AggregationOperationContext context) {
                            return new BasicDBObject(
                                    "$cond", new Object[]{
                                            new BasicDBObject(
                                                "$eq", new Object[]{ "$tenantId", 0}
                                            ),
                                            20161114,
                                            20161114
                                     });
                        }
                    }).as("day").andExclude("_id"),　　　　　　　　　　　　或者
                      and(new AggregationExpression() {
　　　　　　　　　　　　　@Override
　　　　　　　　　　　　　public DBObject toDbObject(AggregationOperationContext context) { 

         　　　　　　　　　　　　　　　　return new BasicDBObject("$add", new Object[] { 20141114 });
　　　　　　　　　　　　}  

       　　　　　　　　　　　　　}).as("day").andExclude("_id"),
　　　　　　　　　　　　new AggregationOperation() { 
                        @Override
                          public DBObject toDBObject(AggregationOperationContext context) {
                            return new BasicDBObject("$out", "dayStaInfoTmp");
                        }
                    }).withOptions(options);

看完了這篇文章，相信你對(duì)解決mongodb內(nèi)存不足的方法有了一定的了解，想了解更多相關(guān)知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道，感謝各位的閱讀！