Elasticsearch參數(shù)配置的示例分析

小編給大家分享一下Elasticsearch參數(shù)配置的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

Elasticsearch的config文件夾里面有兩個(gè)配置文件：elasticsearch.yml和logging.yml，第一個(gè)是es的基本配置文件，第二個(gè)是日志配置文件，es也是使用log4j來記錄日志的.


cluster.name: gh-cluster
配置es的集群名稱，默認(rèn)是elasticsearch，在一個(gè)集群內(nèi)，各節(jié)點(diǎn)擁有相同的custer.name.


node.name: "gh-cluster-node-01"
節(jié)點(diǎn)名，默認(rèn)隨機(jī)指定一個(gè)name列表中名字.同一集群中，各節(jié)點(diǎn)名稱要保持唯一。


node.master: true
指定該節(jié)點(diǎn)是否有資格被選舉成為node，默認(rèn)是true，es是默認(rèn)集群中的第一臺(tái)機(jī)器為master，如果這臺(tái)機(jī)掛了就會(huì)重新選舉master。


node.data: true
指定該節(jié)點(diǎn)是否存儲(chǔ)索引數(shù)據(jù)，默認(rèn)為true。


index.number_of_shards: 5
設(shè)置默認(rèn)索引分片個(gè)數(shù)，默認(rèn)為5片。


index.number_of_replicas: 1
設(shè)置默認(rèn)索引副本個(gè)數(shù)，默認(rèn)為1個(gè)副本。


path.conf: /path/to/conf（建議修改）
設(shè)置配置文件的存儲(chǔ)路徑，默認(rèn)是es根目錄下的config文件夾。


path.data: /path/to/data（建議修改）
設(shè)置索引數(shù)據(jù)的存儲(chǔ)路徑，默認(rèn)是es根目錄下的data文件夾，可以設(shè)置多個(gè)存儲(chǔ)路徑，用逗號(hào)隔開，例：
path.data: /path/to/data1,/path/to/data2


path.work: /path/to/work（建議修改）
設(shè)置臨時(shí)文件的存儲(chǔ)路徑，默認(rèn)是es根目錄下的work文件夾。


path.logs: /path/to/logs（建議修改）
設(shè)置日志文件的存儲(chǔ)路徑，默認(rèn)是es根目錄下的logs文件夾


path.plugins: /path/to/plugins（建議修改）
設(shè)置插件的存放路徑，默認(rèn)是es根目錄下的plugins文件夾


bootstrap.mlockall: true
設(shè)置為true來鎖住內(nèi)存。因?yàn)楫?dāng)jvm開始swapping時(shí)es的效率會(huì)降低，所以要保證它不swap，可以把ES_MIN_MEM和ES_MAX_MEM兩個(gè)環(huán)境變量設(shè)置成同一個(gè)值，并且保證機(jī)器有足夠的內(nèi)存分配給es。同時(shí)也要允許elasticsearch的進(jìn)程可以鎖住內(nèi)存，linux下可以通過`ulimit -l unlimited`命令。


network.bind_host: 192.168.0.1 （建議改成所在服務(wù)器的ip）
設(shè)置綁定的ip地址，可以是ipv4或ipv6的，默認(rèn)為0.0.0.0。




network.publish_host: 192.168.0.1
設(shè)置其它節(jié)點(diǎn)和該節(jié)點(diǎn)交互的ip地址，如果不設(shè)置它會(huì)自動(dòng)判斷，值必須是個(gè)真實(shí)的ip地址。


network.host: 192.168.0.1
這個(gè)參數(shù)是用來同時(shí)設(shè)置bind_host和publish_host上面兩個(gè)參數(shù)。


transport.tcp.port: 9300
設(shè)置節(jié)點(diǎn)間交互的tcp端口，默認(rèn)是9300。


transport.tcp.compress: true
設(shè)置是否壓縮tcp傳輸時(shí)的數(shù)據(jù)，默認(rèn)為false，不壓縮。


http.port: 9200
設(shè)置對(duì)外服務(wù)的http端口，默認(rèn)為9200。


http.max_content_length: 100mb
設(shè)置內(nèi)容的最大容量，默認(rèn)100mb


http.enabled: false
是否使用http協(xié)議對(duì)外提供服務(wù)，默認(rèn)為true，開啟。








ES集群可能會(huì)有整體重啟的情況，比如需要升級(jí)硬件、升級(jí)操作系統(tǒng)或者升級(jí)ES大版本。重啟所有結(jié)點(diǎn)可能帶來的一個(gè)問題: 某些結(jié)點(diǎn)可能先于其他結(jié)點(diǎn)加入集群， 先加入集群的結(jié)點(diǎn)可能已經(jīng)可以選舉好master，并立即啟動(dòng)了recovery的過程，由于這個(gè)時(shí)候整個(gè)集群數(shù)據(jù)還不完整，master會(huì)指示一些結(jié)點(diǎn)之間相互開始復(fù)制數(shù)據(jù)。 那些晚到的結(jié)點(diǎn)，一旦發(fā)現(xiàn)本地的數(shù)據(jù)已經(jīng)被復(fù)制到其他結(jié)點(diǎn)，則直接刪除掉本地“失效”的數(shù)據(jù)。 當(dāng)整個(gè)集群恢復(fù)完畢后，數(shù)據(jù)分布不均衡，顯然是不均衡的，master會(huì)觸發(fā)rebalance過程，將數(shù)據(jù)在節(jié)點(diǎn)之間挪動(dòng)。整個(gè)過程無謂消耗了大量的網(wǎng)絡(luò)流量；合理設(shè)置recovery相關(guān)參數(shù)則可以防范這種問題的發(fā)生。
gateway.expected_nodes
gateway.expected_master_nodes
gateway.expected_data_nodes
以上三個(gè)參數(shù)是說集群里一旦有多少個(gè)節(jié)點(diǎn)就立即開始recovery過程。 不同之處在于，第一個(gè)參數(shù)指的是master或者data都算在內(nèi)，而后面兩個(gè)參數(shù)則分指master和data node。
 
在期待的節(jié)點(diǎn)數(shù)條件滿足之前, recovery過程會(huì)等待gateway.recover_after_time (默認(rèn)5分鐘) 這么長時(shí)間，一旦等待超時(shí)，則會(huì)根據(jù)以下條件判斷是否啟動(dòng):
gateway.recover_after_nodes
gateway.recover_after_master_nodes
gateway.recover_after_data_nodes
 
舉例來說，對(duì)于一個(gè)有10個(gè)data node的集群，如果有以下的設(shè)置:
gateway.expected_data_nodes: 10
gateway.recover_after_time: 5m
gateway.recover_after_data_nodes: 8
那么集群5分鐘以內(nèi)10個(gè)data node都加入了，或者5分鐘以后8個(gè)以上的data node加入了，都會(huì)立即啟動(dòng)recovery過程。








cluster.routing.allocation.cluster_concurrent_rebalance:2
指定用于并發(fā)再平衡的分片數(shù)。此屬性的設(shè)置要取決于硬盤條件，如CPU數(shù)量，IO性能等。如果該屬性設(shè)置不當(dāng)，將影響ElasticSearch索引性能




cluster.routing.allocation.node_initial_primaries_recoveries: 4
初始化數(shù)據(jù)恢復(fù)時(shí)，并發(fā)恢復(fù)線程的個(gè)數(shù)，默認(rèn)為4。


cluster.routing.allocation.node_concurrent_recoveries: 2
添加刪除節(jié)點(diǎn)或負(fù)載均衡時(shí)并發(fā)恢復(fù)線程的個(gè)數(shù)，默認(rèn)為4。






indices.recovery.max_size_per_sec: 0
設(shè)置數(shù)據(jù)恢復(fù)時(shí)限制的帶寬，如入100mb，默認(rèn)為0，即無限制。


indices.recovery.concurrent_streams: 5
設(shè)置這個(gè)參數(shù)來限制從其它分片恢復(fù)數(shù)據(jù)時(shí)最大同時(shí)打開并發(fā)流的個(gè)數(shù)，默認(rèn)為5。


discovery.zen.minimum_master_nodes: 1
設(shè)置這個(gè)參數(shù)來保證集群中的節(jié)點(diǎn)可以知道其它N個(gè)有master資格的節(jié)點(diǎn)。默認(rèn)為1，對(duì)于大的集群來說，可以設(shè)置大一點(diǎn)的值（2-4）


discovery.zen.ping.timeout: 3s （建議修改）
設(shè)置集群中自動(dòng)發(fā)現(xiàn)其它節(jié)點(diǎn)時(shí)ping連接超時(shí)時(shí)間，默認(rèn)為3秒，對(duì)于比較差的網(wǎng)絡(luò)環(huán)境可以高點(diǎn)的值來防止自動(dòng)發(fā)現(xiàn)時(shí)出錯(cuò)。


discovery.zen.ping.multicast.enabled: false
設(shè)置是否打開多播發(fā)現(xiàn)節(jié)點(diǎn)，默認(rèn)是true。


discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3"]
設(shè)置集群中master節(jié)點(diǎn)的初始列表，可以通過這些節(jié)點(diǎn)來自動(dòng)發(fā)現(xiàn)新加入集群的節(jié)點(diǎn)。


下面是一些查詢時(shí)的慢日志參數(shù)設(shè)置
index.search.slowlog.level: TRACE
index.search.slowlog.threshold.query.warn: 10s
index.search.slowlog.threshold.query.info: 5s
index.search.slowlog.threshold.query.debug: 2s
index.search.slowlog.threshold.query.trace: 500ms


index.search.slowlog.threshold.fetch.warn: 1s
index.search.slowlog.threshold.fetch.info: 800ms
index.search.slowlog.threshold.fetch.debug:500ms
index.search.slowlog.threshold.fetch.trace: 200ms

以上是“Elasticsearch參數(shù)配置的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注億速云行業(yè)資訊頻道！