溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

ElasticSearch生產(chǎn)環(huán)境配置有哪些

發(fā)布時間:2021-12-16 10:25:38 來源:億速云 閱讀:355 作者:iii 欄目:大數(shù)據(jù)

這篇文章主要講解了“ElasticSearch生產(chǎn)環(huán)境配置有哪些”,文中的講解內(nèi)容簡單清晰,易于學習與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學習“ElasticSearch生產(chǎn)環(huán)境配置有哪些”吧!

ElasticSearch觀念轉換:

索引:可以認為是數(shù)據(jù)庫中的一個Schema。

類型:邏輯上具有相同格式的文檔集合,可以和數(shù)據(jù)庫中的表概念類似。

文檔:對所描述的實體對象的具體實例化,可以和數(shù)據(jù)庫中的行相對應。

字段:以Json的鍵值對方式組織的多個字段。字段可以是對象類型、數(shù)組類型或者核心數(shù)據(jù)類型,字段可以與數(shù)據(jù)庫列對應。

集群節(jié)點類型:

主節(jié)點:負責節(jié)點間集群之間的變更協(xié)調。這些變更包括索引、映射的管理、增刪節(jié)點,分片重分配等。

數(shù)據(jù)節(jié)點:用來存放Lucene索引,它負責ElasticSearch中的數(shù)據(jù)插入,并滿足用戶的查詢請求。

客戶端節(jié)點:相當于負載均衡器,負責解析HTTP請求,并將其轉發(fā)到相應的數(shù)據(jù)節(jié)點。它把解析和轉發(fā)請求這部分工作從主節(jié)點和數(shù)據(jù)節(jié)點上獨立出來。另外客戶端節(jié)點也負責將各個節(jié)點運算的中間結果進行匯總,并將最終結果返給用戶。在es集群中客戶端節(jié)點不是必須的,但如果使用必須禁用其它節(jié)點的http,這樣就會強制使用es內(nèi)部通信協(xié)議。

部落節(jié)點:部落節(jié)點可以實現(xiàn)多個集群的橋接。它可以作為兩個集群間的負載均衡器。它為后端的多個集群提供了統(tǒng)一訪問客戶端。

數(shù)據(jù)分布:

分片:es索引允許分隔成不同的數(shù)據(jù)子集存儲在不同節(jié)點上,分片就是es索引部分數(shù)據(jù)的數(shù)據(jù)子集,分片是單個Es數(shù)據(jù)節(jié)點上的一個獨立存儲單元,分片其實就是一個純碎的Lucene索引。

副本:es副本提供的故障轉移機制,除了故障轉移,副本也可以參與執(zhí)行查詢的過程。如果你的應用系統(tǒng)正在承受龐大的流量負載,那么增加硬件擴展更多節(jié)點,把每個分片和副本分配到獨占的節(jié)點上會獲得更大的并行度提升查詢效率。注意:(副本越多,向索引中插入文檔的效率就越低)。

生產(chǎn)環(huán)境配置(硬件):

內(nèi)存:es非常消耗內(nèi)存,為了避免OutOfMemory以及由于OutOfMemory引發(fā)的其它潛在問題,同時保障查詢的效率,內(nèi)存是我們硬件規(guī)劃的首要考慮因素,建議內(nèi)存在16G到64G之間。

CPU:cpu的時鐘頻率對es的性能影響并不太大,但是文檔的插入和文檔搜索的性能取決于并發(fā)線程數(shù),而并發(fā)線程數(shù)取決于CPU核心的個數(shù)。在生產(chǎn)環(huán)境中最好有4到8個cup核心,對es來說與更快的cup速度相比,更多的cup核心更為重要。

磁盤:在進行文檔插入或者文檔查詢是,es是io極其敏感的,尤其我們在向es批量加載數(shù)據(jù)時,io對加載性能的影響更大。高IOPS的SSD硬盤成為了不二之選。(注:你可能覺得頻繁更新操作會縮短SSD硬盤壽命,但是lucene索引是完全不可修改的,更新操作是刪除,然后插入,對es來說也不存在什么更新問題)。

網(wǎng)絡:最好不要垮數(shù)據(jù)中心。注意:集群查詢性能是由集群中性能最差的主機決定,可以考慮閑置的低配置作為客戶端使用,或者(客戶端+主節(jié)點)。

其它參數(shù)配置

內(nèi)存配置:默認情況下es節(jié)點的堆內(nèi)存為1G,es將自動數(shù)據(jù)緩存到內(nèi)存中后可大大提高過濾、排序和切面的速度,所以這個參數(shù)必須設置,一般es分配的內(nèi)存至少是物理內(nèi)存的一半,另外一半用于lucence緩存字段信息,它使用的操作系統(tǒng)緩存,而不是es堆內(nèi)存。

感謝各位的閱讀,以上就是“ElasticSearch生產(chǎn)環(huán)境配置有哪些”的內(nèi)容了,經(jīng)過本文的學習后,相信大家對ElasticSearch生產(chǎn)環(huán)境配置有哪些這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是億速云,小編將為大家推送更多相關知識點的文章,歡迎關注!

向AI問一下細節(jié)

免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權內(nèi)容。

AI