ES個人虛擬機集群安裝步驟

本篇內(nèi)容主要講解“ES個人虛擬機集群安裝步驟”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“ES個人虛擬機集群安裝步驟”吧!

ES個人虛擬機集群安裝

• 環(huán)境配置篇

• 操作系統(tǒng)選擇

• 系統(tǒng)環(huán)境設(shè)置

• Jvm環(huán)境變量

• Elasticsearch安裝配置

• kibana安裝配置

• 推薦centos7.x或者ubuntu18.x

• 命令：配置文件：/etc/sysctl.conf
  #禁用內(nèi)存與硬盤交換，需要運維幫助設(shè)置，不同環(huán)境可能設(shè)置不同
  vm.swappiness=1
  #設(shè)置虛擬內(nèi)存大小
  vm.max_map_count=262144

• 命令：配置文件：/etc/security/limits.conf； 星號代表用戶
  #進程線程數(shù)
  * soft nproc 131072
  * hard nproc 131072
  #文件句柄數(shù)
  * soft nofile 131072
  * hard nofile 131072
  #內(nèi)存鎖定交換
  * soft memlock unlimited
  * hard memlock unlimited

• 命令：
  #創(chuàng)建ES賬號，如elastic
  useradd elastic
  #授權(quán)ES程序目錄elastic賬號權(quán)限
  #假設(shè)ES程序目錄、數(shù)據(jù)目錄、日志目錄都在/gpes目錄下
  chown -R elastic:elastic gpes/*
  

• 禁用內(nèi)存交換，防止內(nèi)存不夠，交換到磁盤，導(dǎo)致磁盤IO占用和性能下降內(nèi)存鎖定

• mmpfile存儲內(nèi)存需要，不配置可能起不來

• 設(shè)置進程線程限制，ES進程內(nèi)置多種線程池，線程數(shù)量多

• 設(shè)置文件句柄值，ES索引由很多文件組成，打開文件數(shù)量多

• Linux下非root賬號，安全限制

• 命令

• ES相關(guān)程序需要開啟很多端口http、tcp

• service firewalld stop

• chkconfig firewalld off

• 配置完成后，需要重啟系統(tǒng)

• 1. 防火必須關(guān)閉：

• 2. 設(shè)置虛擬內(nèi)存大小

• 命令：配置文件：/etc/profile；注意配置中格式是否正確例如分號和java_home位置
  #ES最新版本自帶jdk版本，默認可以不需要配置，建議配置，便于安裝其他java程序輔助
  #本內(nèi)容中要求安裝JDK14.X
  export JAVA_HOME=/gpes/jdk.xxx.xx
  export JRE_HOME=$JAVA_HOME/jre
  export PATH=$JAVA_HOME/bin;$PATH
  export CLASSPATH=.;$JAVA_HOME/lib;$JRE_HOME/lib

• 負責無法使用常用自定義java命令，如jconsole，jps等

• cd ${ES_HOME}/jdk/bin

• ./java -version

• ES默認自帶JDK，默認環(huán)境下，無需設(shè)置，查看自帶OPEN JDK版本

• 建議設(shè)置Java環(huán)境變量

• Java環(huán)境變量: 個人設(shè)置一定要與官方推薦jdk版本一致

• elasticsearch.yml 核心配置文件、節(jié)點實例屬性參數(shù)

• jvm.options 配置堆棧參數(shù)等

• log4j2.properties 日志常規(guī)配置、默認就好

• 其他

• 集群名稱： 默認無需設(shè)置，建議設(shè)置

• 節(jié)點名稱：單實例不用設(shè)置，集群下必須區(qū)分設(shè)置，建議設(shè)置

• IP地址：必須設(shè)置，默認僅限本地訪問

• 訪問端口：http端口默認無需設(shè)置，tcp端口，默認需求設(shè)置

• 集群發(fā)現(xiàn)：

• 數(shù)據(jù)目錄

• 日志目錄

• 內(nèi)存鎖定

• 線程數(shù)或者處理器數(shù)：cpu和內(nèi)存建議值為1:4

• discovery.xxx 單節(jié)點無需配置

• cluster.xxx 單節(jié)點默認可無需配置

• 多磁盤目錄設(shè)置，path.data可設(shè)置數(shù)組，可優(yōu)化點

• 默認目錄，生產(chǎn)環(huán)境指向磁盤

• 默認未設(shè)置，建議必須設(shè)置

• 默認參數(shù)無需修改

• 處理器數(shù)量設(shè)置慎重，決定線程池大小

• 命令：配置文件： {ES_HOME}/config/elaticsearch.yml
  #集群名稱，默認可以不修改，建議設(shè)置
  cluster.name:gpes01
  #節(jié)點名稱，必須修改，默認修改為當前機器名稱，集群下必須區(qū)分設(shè)置
  node.name:gpes_${HOSTNAME}
  #IP地址，默認是local，僅限本地訪問，外網(wǎng)不可訪問，設(shè)置0.0.0.0通用做法
  network.host:0.0.0.0
  #訪問端口，默認http為9200，tcp為9300，建議明確指定
  http.port:9200
  transport.port:9300
  #數(shù)據(jù)目錄與日志目錄，默認在當前運行程序下，生產(chǎn)環(huán)境需要制定
  #  path.data:/path/to/data
  #path.logs:/path/to/logs
  #內(nèi)存交換鎖定，此處需要操作系統(tǒng)設(shè)置才生效
  bootstrap.memory_lock:true
  #防止批量刪除索引
  action.destructive_requires_name:true
  #設(shè)置處理器數(shù)量，默認無需設(shè)置，單機器多實例需要設(shè)置
  node.processors:4
  #集群發(fā)現(xiàn)配置
  # discovery.seed_hosts:["192.168.86.102:9300"]
  cluster.initial_master_nodes:["192.168.86.102:9300"]
   

• JDK選擇

• GC選擇

• 堆棧大小

• GC日志

• gc.log路徑設(shè)置

• 自主配置或者自帶，自主配置的版本一定要與自帶的JDK版本一致

• 7.8.1已經(jīng)采集G1; 原則JDK14以上采用G1，14以下采用CMS

• 不超過1/2系統(tǒng)內(nèi)存

• 空余1/2閑置內(nèi)存

• 內(nèi)存上線不超過32G，且不能等于32G，JVM原因?qū)е虏荒艹^32G

• 命令：配置文件：{ES_HOME}/config/jvm.options
  #內(nèi)存堆棧大小，不能超過1/2系統(tǒng)內(nèi)存，多實例要謹慎
  -Xms 1g
  -Xmx 1g
  #垃圾回收器 CMS與G1，當前CMS依然最好
  8-13:-XX:+UseConcMarkSweepGC
  14:-XX:+UseG1GC
  #GC.log目錄，便于排查gc問題，生產(chǎn)需要修改路徑指向
  8:-Xloggc:logs/gc.log

• 帳戶安全/動態(tài)生成/keystore安全文件

• 啟動ES腳本

• 當前窗口啟動： ./elasticsearch

• 后臺進程啟動： ./elasticsearch -d

• wins系統(tǒng)：elasticsearch.bat

• linux系統(tǒng)：

• bin

• config

• jdk

• lib/modules

• plugins

• 其他

• 啟動腳本、常用工具腳本

• 配置

• 自動jdk，可選用，是openjdk

• 程序包

• 自有插件、三方插件

• data，默認數(shù)據(jù)

• logs，默認日志

• ES文件目錄

• 腳本命令

• 配置文件

• bin：啟動腳本、常用工具腳本

• config：文件配置: {KIBANA_HOME}/config/kibana.yml
  #訪問端口，默認無需修改
  server.port:5601
  #訪問地址IP，默認本地
  server.host:"192.168.86.102"
  #ES服務(wù)指向，集群下配置多個
  elasticsearch.hosts:["http://192.168.86.102:9200"]
  #Kibana元數(shù)據(jù)存儲索引名稱，默認.kibana無需修改，點不能去掉，后綴可以修改
  kibana.index:".kibana"

• 其他：默認、無需關(guān)心

• 注意事項：

• 當前窗口：./kibana

• 后臺啟動： nohup ./kibana &

• 啟動命令

• winds系統(tǒng)：kibana.bat

• linux系統(tǒng)：

• 安全、語言、其它

• 默認無需配置，建議配置修改

• IP地址必須配置，默認僅限本地訪問

• 必須配置，默認僅本地

• ES配置指向

• IP+PORT設(shè)置

• 元數(shù)據(jù)索引沉默

• 其他設(shè)置

• 必須要刪除${ES_HOME}/logs中由root賬戶產(chǎn)生的日志

• rm -rf *

• cd logs/

• 必須要刪除${ES_HOME}/config中elasticsearch.keystore

• rm elasticsearch.keystore

• cd config/

• 1. 如果第一次用root啟動了，會失敗，第二次要想用其他用戶啟動，要刪除使用root啟動時，自動生成的一些文件

• 文件目錄

• 下載地址

• 下載軟件

• 安裝方式

• 官方地址：https://www.elastic.co/cn/downloads

• Elasticsearch: 7.8.1

• Kibana: 7.8.1 與ES版本一致

• Chrome插件（非官方）：elasticsearch-head

• 暫時不建議，因為數(shù)據(jù)存儲會存在物理機目錄中而不是容器中

• 1. 購買SAAS產(chǎn)品，騰訊云/阿里云/ES云

• 2. 離線包、推薦，建議xx.gz類似綠色版本

• 3. 在線包

• 4. 容器docker

• 1. 安裝方式選擇

• 2. 系統(tǒng)環(huán)境變量配置

到此，相信大家對“ES個人虛擬機集群安裝步驟”有了更深的了解，不妨來實際操作一番吧！這里是億速云網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！