Elasticsearch 7.5.0集群部署

一、背景介紹
ELK 不是一款軟件，而是 Elasticsearch、Logstash 和 Kibana 三種軟件產(chǎn)品的首字母縮寫。這三者都是開源軟件，通常配合使用，而且又先后歸于 Elastic.co 公司名下，所以被簡稱為 ELK Stack。根據(jù) Google Trend 的信息顯示，ELK Stack 已經(jīng)成為目前最流行的集中式日志解決方案。

Elasticsearch：分布式搜索和分析引擎，具有高可伸縮、高可靠和易管理等特點。基于 Apache Lucene 構(gòu)建，能對大容量的數(shù)據(jù)進行接近實時的存儲、搜索和分析操作。通常被用作某些應用的基礎搜索引擎，使其具有復雜的搜索功能；
Logstash：數(shù)據(jù)收集引擎。它支持動態(tài)的從各種數(shù)據(jù)源搜集數(shù)據(jù)，并對數(shù)據(jù)進行過濾、分析、豐富、統(tǒng)一格式等操作，然后存儲到用戶指定的位置；
Kibana：數(shù)據(jù)分析和可視化平臺。通常與 Elasticsearch 配合使用，對其中數(shù)據(jù)進行搜索、分析和以統(tǒng)計圖表的方式展示；
Filebeat：ELK 協(xié)議棧的新成員，一個輕量級開源日志文件數(shù)據(jù)搜集器，基于 Logstash-Forwarder 源代碼開發(fā)，是對它的替代。在需要采集日志數(shù)據(jù)的 server 上安裝 Filebeat，并指定日志目錄或日志文件后，F(xiàn)ilebeat 就能讀取數(shù)據(jù)，迅速發(fā)送到 Logstash 進行解析，亦或直接發(fā)送到 Elasticsearch 進行集中式存儲和分析。

架構(gòu)模式：

二、Elasticsearch環(huán)境描述

CentOS7 4C 8G

三、環(huán)境安裝部署

1、下載安裝包
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.0-linux-x86_64.tar.gz
2、安裝jdk
 yum install -y java-1.8.0-openjdk
3、解壓
 tar -xf elasticsearch-7.5.0-linux-x86_64.tar.gz -C /opt/

4、修改配置文件

[root@es01 ~]# grep -n -v '#' /etc/elasticsearch/elasticsearch.yml |grep -v '^$'
cluster.name: escluster         #設置集群名字
index.number_of_shards: 3   #設置es索引分片數(shù)量，分布式存儲，提高查詢效率等
index.number_of_replicas: 1 #設置分片副本數(shù)量，提供數(shù)據(jù)高可用
node.name: es01     #設置本節(jié)點名字，另外2臺可依次02、03
path.data: /data/es_data        #設置es索引數(shù)據(jù)存放位置
network.host: 192.168.18.7  #設置此節(jié)點綁定IP
discovery.zen.ping.unicast.hosts: ["192.168.18.7", "192.168.18.8", "192.168.18.9"]  #設置集群節(jié)點成員

5、參數(shù)詳解：
1、node.attr.rack指定節(jié)點的部落屬性，這是一個比集群更大的范圍。
2、node.master指定是否為主節(jié)點。該屬性可不指定，節(jié)點之間自主選舉。
3、node.data指定是否存儲數(shù)據(jù)（數(shù)據(jù)節(jié)點）
4、cluster.initial_master_nodes參數(shù):你可以通過為 cluster.initial_master_nodes 參數(shù)設置一系列符合主節(jié)點條件的節(jié)點的主機名或 IP 地址來引導啟動集群。你可以在命令行或 elasticsearch.yml 中提供這些信息。你還需要配置發(fā)現(xiàn)子系統(tǒng)，這樣節(jié)點就知道如何找到彼此。

6、jvm.options配置

7、啟動es
由于elasticsearch不能用root用戶啟動，所以需要創(chuàng)建一個新用戶
[root@es01 ~]# useradd elasticsearch -g root
將elasticsearch加入root用戶組
[root@es01 elasticsearch-7.5.0]# chown -R elasticsearch /opt/elasticsearch-7.5.0

切換到elasticsearch用戶
su - elasticsearch
./elasticsearch -d 啟動

四、報錯解決

1. seccomp unavailable 錯誤
解決方法：elasticsearch.yml 配置
bootstrap.memory_lock: false
#bootstrap.systemcallfilter: false

2. max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
解決方法：修改 /etc/security/limits.conf，配置：
elasticsearch soft nofile 65535          #軟限   此處elasticsearch為啟動用戶
elasticsearch hard nofile 65535        #硬限

3. max virtual memory areas vm.maxmapcount [65530] is too low
解決方法：修改 /etc/sysctl.conf，添加 ：
vm.max_map_count=262144
然后 sysctl -p 生效

4. the default discovery settings are unsuitable...., last least one of [....] must be configured
解決方法：elasticsearch.yml 開啟配置：
node.name: node-1
cluster.initialmasternodes: ["es01"]*

其他節(jié)點配置一樣即可

五、驗證
通過瀏覽器訪問三臺機器的映射端口可以看出同屬于同一個集群

至此elasticsearch集群部署完成。后面會接續(xù)介紹kibana和logstash部署及日志采集方法。