ElasticSearch實用化訂單搜索方案是怎樣的

本篇文章為大家展示了ElasticSearch實用化訂單搜索方案是怎樣的，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

前言：

站外推廣系統(tǒng)訂單報表一直是一個痛點，研究后選擇ES搜索引擎進行改造。上線來遇到很多問題，經(jīng)歷了很多的修改，現(xiàn)在系統(tǒng)終于正常運行，滿足訂單報表大數(shù)據(jù)量、實時更新、響應(yīng)快、多維度查詢的需求。

一、為什么選擇ES

搜索引擎中，主要考慮到ES支持結(jié)構(gòu)化數(shù)據(jù)查詢以及支持實時頻繁更新特性：

二、總體系統(tǒng)架構(gòu)

整個業(yè)務(wù)線使用服務(wù)化方式，ES集群和數(shù)據(jù)庫分庫，作為數(shù)據(jù)源被訂單服務(wù)系統(tǒng)封裝為對外統(tǒng)一接口；各前后臺應(yīng)用和報表中心，使用服務(wù)化的方式獲取訂單數(shù)據(jù)。

三、數(shù)據(jù)更新設(shè)計

ES數(shù)據(jù)更新有批量更新和實時更新兩種：

1、手動更新為初始化數(shù)據(jù)，或者修復(fù)數(shù)據(jù)時使用

2、實時更新通過監(jiān)控數(shù)據(jù)庫訂單表的binlog，進行實時同步

四、機器、索引、參數(shù)配置

五、索引結(jié)構(gòu)圖

六、機器性能選擇

對于頻繁更新一定要考慮到使用SSD

七、文檔id選擇

因為是訂單數(shù)據(jù)，并且有頻繁數(shù)據(jù)更新，所以我們選擇自己指定的唯一id，具體對比如下：

八、實時更新數(shù)據(jù)方案

實時數(shù)據(jù)更新采用監(jiān)聽數(shù)據(jù)庫binlog的方式實現(xiàn)：

九、數(shù)據(jù)一致性解決方案

不一致原因：

1、各域代碼發(fā)布

2、網(wǎng)絡(luò)延時

3、集群故障

4、vdp、vms丟數(shù)據(jù)

解決方案：

1、使用調(diào)度任務(wù)，每天對比三個月內(nèi)每天的數(shù)據(jù)

2、如果存在數(shù)據(jù)不一致，自動批量同步當(dāng)天數(shù)據(jù)

3、數(shù)據(jù)不一致，自動發(fā)送告警郵件

4、調(diào)度任務(wù)可隨時手動終止

5、至今尚未出現(xiàn)不一致的情況

十、數(shù)據(jù)更新、查詢接口

上述內(nèi)容就是ElasticSearch實用化訂單搜索方案是怎樣的，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注億速云行業(yè)資訊頻道。