溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊(cè)×
其他方式登錄
點(diǎn)擊 登錄注冊(cè) 即表示同意《億速云用戶服務(wù)條款》

由正則表示式匹配($regex)引起的一次mongo數(shù)據(jù)庫(kù)c

發(fā)布時(shí)間:2020-02-29 03:37:32 來(lái)源:網(wǎng)絡(luò) 閱讀:388 作者:獨(dú)指蝸牛 欄目:MongoDB數(shù)據(jù)庫(kù)

某一天,監(jiān)控到mongo數(shù)據(jù)庫(kù)cpu使用率高了很多,查了一下,發(fā)現(xiàn)是下面這種語(yǔ)句引起的:

db.example_collection.find({ "idField" : { "$regex" : "123456789012345678"} , "dateField" : { "$regex" : "2019/10/10"}})


通常,遇到這種情況,我第一反應(yīng)是缺少相關(guān)字段的索引,導(dǎo)致每執(zhí)行一次這種語(yǔ)句都會(huì)全表掃描一次。


但是我用explain( )語(yǔ)句分析了下,發(fā)現(xiàn)上面所涉及的兩個(gè)字段idField、dateField是有索引的,并且該語(yǔ)句也是有使用到索引的。如下為explain( )的結(jié)果:

mgset-11111111:PRIMARY> db.example_collection.find({ "idField" : { "$regex" : "123456789012345678"} , "dateField" : { "$regex" : "2019/10/10"}}).explain("queryPlanner")
{
??????? "queryPlanner" : {
??????????????? "plannerVersion" : 1,
??????????????? "namespace" : "example_db.example_collection",
??????????????? "indexFilterSet" : false,
??????????????? "parsedQuery" : {
??????????????????????? "$and" : [
??????????????????????????????? {
??????????????????????????????????????? "idField" : {
??????????????????????????????????????????????? "$regex" : "123456789012345678"
??????????????????????????????????????? }
??????????????????????????????? },
??????????????????????????????? {
??????????????????????????????????????? "dateField" : {
??????????????????????????????????????????????? "$regex" : "2019/10/10"
??????????????????????????????????????? }
??????????????????????????????? }
??????????????????????? ]
??????????????? },
??????????????? "winningPlan" : {
??????????????????????? "stage" : "FETCH",
??????????????????????? "inputStage" : {
??????????????????????????????? "stage" : "IXSCAN",
??????????????????????????????? "filter" : {
??????????????????????????????????????? "$and" : [
??????????????????????????????????????????????? {
??????????????????????????????????????????????????????? "idField" : {
??????????????????????????????????????????????????????????????? "$regex" : "123456789012345678"
??????????????????????????????????????????????????????? }
??????????????????????????????????????????????? },
??????????????????????????????????????????????? {
??????????????????????????????????????????????????????? "dateField" : {
??????????????????????????????????????????????????????????????? "$regex" : "2019/10/10"
??????????????????????????????????????????????????????? }
??????????????????????????????????????????????? }
??????????????????????????????????????? ]
??????????????????????????????? },
??????????????????????????????? "keyPattern" : {
??????????????????????????????????????? "idField" : 1,
??????????????????????????????????????? "dateField" : 1
??????????????????????????????? },
??????????????????????????????? "indexName" : "idField_1_dateField_1",
??????????????????????????????? "isMultiKey" : false,
??????????????????????????????? "multiKeyPaths" : {
??????????????????????????????????????? "idField" : [ ],
??????????????????????????????????????? "dateField" : [ ]
??????????????????????????????? },
??????????????????????????????? "isUnique" : false,
??????????????????????????????? "isSparse" : false,
??????????????????????????????? "isPartial" : false,
??????????????????????????????? "indexVersion" : 2,
??????????????????????????????? "direction" : "forward",
??????????????????????????????? "indexBounds" : {
??????????????????????????????????????? "idField" : [
??????????????????????????????????????????????? "[\"\", {})",
??????????????????????????????????????????????? "[/123456789012345678/, /123456789012345678/]"
??????????????????????????????????????? ],
??????????????????????????????????????? "dateField" : [
??????????????????????????????????????????????? "[\"\", {})",
??????????????????????????????????????????????? "[/2019/10/10/, /2019/10/10/]"
??????????????????????????????????????? ]
??????????????????????????????? }
??????????????????????? }
??????????????? },
??????????????? "rejectedPlans" : [ ]
??????? },
??????? "ok" : 1
}


查看mongo的日志發(fā)現(xiàn),這種語(yǔ)句執(zhí)行一次就要800~900ms,的確是比較慢。除非數(shù)據(jù)庫(kù)cpu核數(shù)很多,要不然只要這種語(yǔ)句每秒并發(fā)稍微高一點(diǎn),cpu很快就被占滿了。


之后搜索了下,發(fā)現(xiàn)有可能是正則表達(dá)式的問(wèn)題。原來(lái),雖然該語(yǔ)句的確是使用了索引,但是explain( )語(yǔ)句的輸出中還有一個(gè)字段"indexBounds",表示執(zhí)行該語(yǔ)句時(shí)所需掃描的索引范圍。說(shuō)實(shí)話,上面那個(gè)輸出中,我始終沒(méi)看明白它那個(gè)索引范圍。上面的語(yǔ)句對(duì)idField、dateField這兩個(gè)字段都進(jìn)行了普通的正則表達(dá)式匹配,我猜測(cè)它應(yīng)該是掃描了整個(gè)索引樹(shù),所以導(dǎo)致索引并未實(shí)際提升該語(yǔ)句的查詢(xún)效率。


我看了下數(shù)據(jù)庫(kù)里面的數(shù)據(jù),發(fā)現(xiàn)idField、dateField這兩個(gè)字段完全沒(méi)有必要進(jìn)行正則匹配,進(jìn)行普通的文本匹配就行。將正則匹配操作$regex去掉之后,再分析一下,結(jié)果是這樣的:

mgset-11111111:PRIMARY> db.example_collection.find({ "idField" : "123456789012345678", "dateField" : "2019/10/10"}).explain("queryPlanner")
{
??????? "queryPlanner" : {
??????????????? "plannerVersion" : 1,
??????????????? "namespace" : "example_db.example_collection",
??????????????? "indexFilterSet" : false,
??????????????? "parsedQuery" : {
??????????????????????? "$and" : [
??????????????????????????????? {
??????????????????????????????????????? "idField" : {
??????????????????????????????????????????????? "$eq" : "123456789012345678"
??????????????????????????????????????? }
??????????????????????????????? },
??????????????????????????????? {
??????????????????????????????????????? "dateField" : {
??????????????????????????????????????????????? "$eq" : "2019/10/10"
??????????????????????????????????????? }
??????????????????????????????? }
??????????????????????? ]
??????????????? },
??????????????? "winningPlan" : {
??????????????????????? "stage" : "FETCH",
??????????????????????? "inputStage" : {
??????????????????????????????? "stage" : "IXSCAN",
??????????????????????????????? "keyPattern" : {
??????????????????????????????????????? "idField" : 1,
??????????????????????????????????????? "dateField" : 1
??????????????????????????????? },
??????????????????????????????? "indexName" : "idField_1_dateField_1",
??????????????????????????????? "isMultiKey" : false,
??????????????????????????????? "multiKeyPaths" : {
??????????????????????????????????????? "idField" : [ ],
??????????????????????????????????????? "dateField" : [ ]
??????????????????????????????? },
??????????????????????????????? "isUnique" : false,
??????????????????????????????? "isSparse" : false,
??????????????????????????????? "isPartial" : false,
??????????????????????????????? "indexVersion" : 2,
??????????????????????????????? "direction" : "forward",
??????????????????????????????? "indexBounds" : {
??????????????????????????????????????? "idField" : [
??????????????????????????????????????????????? "[\"123456789012345678\", \"123456789012345678\"]"
??????????????????????????????????????? ],
??????????????????????????????????????? "dateField" : [
??????????????????????????????????????????????? "[\"2019/10/10\", \"2019/10/10\"]"
??????????????????????????????????????? ]
??????????????????????????????? }
??????????????????????? }
??????????????? },
??????????????? "rejectedPlans" : [ ]
??????? },
??????? "ok" : 1
}


可以看到,仍然使用到了索引,并且索引掃描范圍是僅限于一個(gè)值的。


后來(lái)跟開(kāi)發(fā)人員確認(rèn)了下,該語(yǔ)句確實(shí)沒(méi)必要使用正則匹配,就讓他把正則匹配去掉了。之后就沒(méi)有再出現(xiàn)問(wèn)題了,mongo慢日志中也未再出現(xiàn)該語(yǔ)句。

向AI問(wèn)一下細(xì)節(jié)

免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如果涉及侵權(quán)請(qǐng)聯(lián)系站長(zhǎng)郵箱:is@yisu.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI