Elasticsearch中分布式的示例分析

這篇文章給大家分享的是有關(guān)Elasticsearch中分布式的示例分析的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

可用性和擴(kuò)展性

高可用

服務(wù)可用性—允許有節(jié)點(diǎn)停止服務(wù)

數(shù)據(jù)可用性—部分節(jié)點(diǎn)丟失，不會丟失數(shù)據(jù)

可擴(kuò)展性

請求量提升/數(shù)據(jù)的不斷增長 ，可以實(shí)現(xiàn)水平擴(kuò)展

節(jié)點(diǎn)

節(jié)點(diǎn)是一個es的實(shí)例

本質(zhì)上就是一個JAVA進(jìn)程

分片和副本

• 分片特性
  分片存儲部分?jǐn)?shù)據(jù)，可以分布任意節(jié)點(diǎn)上；
  分片在創(chuàng)建索引時指定且不許更改，默認(rèn)為5個；
  分片有主副之分，四線數(shù)據(jù)高可用；
  副本分片的數(shù)據(jù)由主分片同步，提高讀取吞吐量；

• 實(shí)例操作

集群設(shè)置：node1/node2/node3，且node1為主節(jié)點(diǎn)；創(chuàng)建索引：PUT test_index{  "settings":{    "number_of_shards":3, ##分片數(shù)為3    "number_of_replicas":1 ##副本數(shù)為1  }}分片和副本分布：node1-p0 r1 node2-p1 r2 node3-p2 r0

• 問題

1-在上述的分布式環(huán)境中，增加節(jié)點(diǎn)數(shù)是否提高test_index的數(shù)據(jù)容量？不能，因?yàn)橹挥?個分片，且已經(jīng)分布在3臺節(jié)點(diǎn)上，新增節(jié)點(diǎn)無法使用；2-增加副本數(shù)是否可以提高test_index的讀取吞吐量？不能，新增的副本依然分布在三個節(jié)點(diǎn)上，利用同樣資源；3-建議：分片數(shù)過小，無法通過新增節(jié)點(diǎn)實(shí)現(xiàn)水平擴(kuò)容；分片數(shù)過大，導(dǎo)致一個節(jié)點(diǎn)上存在多個分片，造成資源浪費(fèi)；

集群狀態(tài)

• 集群狀態(tài)
  Green:健康狀態(tài)，所有主副分片正常分配；
  Yellow:主分片分配正常，但是副本分片分配不正常；
  Red:存在主分片未分配；

• 故障轉(zhuǎn)移

文檔分布式存儲

• 文檔到分片的映射
  文檔在分片中盡量分布均勻，充分利用資源；

腦裂問題

• 腦裂
  同一個集群中兩個master，維護(hù)不同的cluster state，網(wǎng)絡(luò)恢復(fù)后無法選擇正確的master；

• 實(shí)例操作

文檔搜索實(shí)時性

• refresh
  segment寫入磁盤耗時，借助文件系統(tǒng)緩存特性，將segment緩存并開放搜索實(shí)時性，稱為refresh；
  refresh之前將文檔存儲到一個buffer中，refresh時將buffer中的文檔清空生成segment；

• translog
  解決內(nèi)存中segment未寫入磁盤就發(fā)生宕機(jī)問題；
  文檔寫入buffer時，同時將請求操作寫入translog，6.x默認(rèn)每個請求都落盤；
  Es啟動時檢查translog文件，并從中恢復(fù)數(shù)據(jù)；
  

• flush
  負(fù)責(zé)將內(nèi)存中的segmet寫入磁盤；
  將index buffer清空，其中的文檔生成一個新的segment，相當(dāng)于一個refresh操作；
  更新commit point并寫入磁盤；
  執(zhí)行fsync操作，將內(nèi)存中的segment寫入磁盤；
  刪除舊的translog日志；
  

• 刪除與更新文檔
  segment一旦創(chuàng)建就不能更改，如何刪除與更新文檔呢?

• segment merge
  Es會定時在后臺進(jìn)行segment merge操作，減少segment的數(shù)量；
  通過force_merge api實(shí)現(xiàn)手動強(qiáng)制做segment merge；

感謝各位的閱讀！關(guān)于“Elasticsearch中分布式的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！