Elasticsearch+Logstash+Kibana搭建日志分析系統(tǒng)

簡介：

ELK實(shí)際上是三個(gè)工具的集合，Elasticsearch + Logstash + Kibana，這三個(gè)工具組合形成了一套實(shí)用、易用的監(jiān)控架構(gòu)，很多公司利用它來搭建可視化的海量日志分析平臺。

ElasticSearch是一個(gè)基于Lucene的搜索服務(wù)器。它提供了一個(gè)分布式多用戶能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開發(fā)的，并作為Apache許可條款下的開放源碼發(fā)布，是當(dāng)前流行的企業(yè)級搜索引擎。設(shè)計(jì)用于云計(jì)算中，能夠達(dá)到實(shí)時(shí)搜索，穩(wěn)定，可靠，快速，安裝使用方便。

Logstash 是一個(gè)應(yīng)用程序日志、事件的傳輸、處理、管理和搜索的平臺。你可以用它來統(tǒng)一對應(yīng)用程序日志進(jìn)行收集管理，提供 Web 接口用于查詢和統(tǒng)計(jì)。

Kibana 是一個(gè)為 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口?？墒褂盟鼘θ罩具M(jìn)行高效的搜索、可視化、分析等各種操作。

日志服務(wù)器：

提高安全性；
集中存放日志；
缺陷：對日志的分析困難

ELK日志處理步驟：

將日志進(jìn)行集中格式化；
將日志格式化（logstash）并輸出到 Elasticsearch；
對格式化后的數(shù)據(jù)進(jìn)行索引和存儲（Elasticsearch）；
前端數(shù)據(jù)的展示（Kibana）

搭建 ELK 日志分析系統(tǒng)

配置 elasticsearch 環(huán)境

修改兩臺主機(jī)名，分別是：node1 和 node2
修改 hosts 文件：

vim /etc/hosts
添加以下主機(jī)名和主機(jī)IP地址（兩臺node都需要）：
192.168.220.129 node1
192.168.220.130 node2

防火墻都關(guān)閉

systemctl stop firewalld.service
setenforce 0

部署安裝 elasticsearch 軟件

rpm -ivh elasticsearch-5.5.0.rpm        //安裝
systemctl daemon-reload                 //重新加載服務(wù)配置文件
systemctl enable elasticsearch.service   //設(shè)置為開機(jī)自啟動(dòng)
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

修改配制文件：

注意：第二臺節(jié)點(diǎn)服務(wù)器配置和第一臺一樣，注意修改一下節(jié)點(diǎn)名和ip地址即可。

vim /etc/elasticsearch/elasticsearch.yml

17/     cluster.name: my-elk-cluster       //集群名字（自定義）
23/     node.name: node-1                  //節(jié)點(diǎn)名字
33/     path.data: /data/elk_data          //數(shù)據(jù)存放路徑
37/     path.logs: /var/log/elasticsearch/ //日志存放路徑
43/     bootstrap.memory_lock: false       //不在啟動(dòng)的時(shí)候鎖定內(nèi)存
55/     network.host: 0.0.0.0              //提供服務(wù)綁定的IP地址（本機(jī)地址）
59/     http.port: 9200                    //端口
68/     discovery.zen.ping.unicast.hosts: ["node1", "node2"]  //集群發(fā)現(xiàn)通過單播實(shí)現(xiàn)

創(chuàng)建數(shù)據(jù)存放路徑并授權(quán)，開啟服務(wù)

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
systemctl start elasticsearch.service
netstat -natp | grep 9200

使用瀏覽器打開 http://192.168.50.142:9200 下面是節(jié)點(diǎn)信息

{
"name" : "node1",
"cluster_name" : "my-elk-cluster",
"cluster_uuid" : "47bm_xHBSfSvB-mg5qaLWg",
"version" : {
"number" : "5.5.0",
"build_hash" : "260387d",
"build_date" : "2017-06-30T23:16:05.735Z",
"build_snapshot" : false,
"lucene_version" : "6.6.0"
},
"tagline" : "You Know, for Search"
}

使用瀏覽器 http://192.168.50.142:9200/_cluster/health?pretty ###檢查集群健康情況

{
"cluster_name" : "my-elk-cluster",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 2,
"number_of_data_nodes" : 2,
"active_primary_shards" : 0,
"active_shards" : 0,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}

使用瀏覽器 http://192.168.50.142:9200/_cluster/state?pretty ###檢查群集狀態(tài)信息

{
"cluster_name" : "my-elk-cluster",
"version" : 3,
"state_uuid" : "vU5I5cttQiiedAu38QwWEQ",
"master_node" : "3wHS1VEBQ_q0FxZs2T5IiA",
"blocks" : { },
"nodes" : {
"V0n8BHRfS1CA75dbo312HA" : {
"name" : "node2",
"ephemeral_id" : "2rC6LV1qQcaZNEFRc8uIBg",
"transport_address" : "192.168.50.139:9300",
"attributes" : { }
},
"3wHS1VEBQ_q0FxZs2T5IiA" : {
"name" : "node1",
"ephemeral_id" : "d2nLeY3RSYaI7g7jpzNkMA",
"transport_address" : "192.168.50.142:9300",
"attributes" : { }
}
},
"metadata" : {
"cluster_uuid" : "47bm_xHBSfSvB-mg5qaLWg",
"templates" : { },
"indices" : { },
"index-graveyard" : {
"tombstones" : [ ]
}
},
"routing_table" : {
"indices" : { }
},
"routing_nodes" : {
"unassigned" : [ ],
"nodes" : {
"3wHS1VEBQ_q0FxZs2T5IiA" : [ ],
"V0n8BHRfS1CA75dbo312HA" : [ ]
}
}
}

安裝 elasticsearch-head 插件

yum install gcc gcc-c++ make -y

編譯安裝 node 組件：

tar zvxf node-v8.2.1.tar.gz -C /opt/
cd /opt/node-v8.2.1/
./configure
make -j3     //這步耗時(shí)較長，耐心等待
make install

安裝 phantomjs 前端框架：

tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /opt/
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin/

安裝 elasticsearch-head 數(shù)據(jù)可視化工具：

tar zvxf elasticsearch-head.tar.gz -C /opt/
cd /opt/elasticsearch-head/
npm install

修改主配置文件：

vim /etc/elasticsearch/elasticsearch.yml
末尾插入以下兩行代碼：
http.cors.enabled: true
http.cors.allow-origin: "*"

啟動(dòng) elasticsearch-head

cd /opt/elasticsearch-head/
npm run start &  //放在后臺運(yùn)行

使用瀏覽器輸入 http://192.168.50.142:9100/ 可以看到群集很健康是綠色
在Elasticsearch 后面的欄目中輸入http://192.168.50.142:9200

然后點(diǎn)連接會發(fā)現(xiàn): 集群健康值:  green (0 of 0)
?node1信息動(dòng)作
★node2信息動(dòng)作

創(chuàng)建索引

可以直接新建索引

也可以輸入以下命令創(chuàng)建索引：

curl -XPUT '192.168.50.142:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
//索引名為 index-demo，類型為test

瀏覽器刷新一下，就會看到剛剛創(chuàng)建的索引信息，可以看出索引默認(rèn)被分片5個(gè)，并且有一個(gè)副本

安裝 logstash 并做一些日志搜集輸出到 elasticsearch中

修改主機(jī)名

hostnamectl set-hostname apache

安裝Apache服務(wù)

systemctl stop firewalld.service
setenforce 0
yum install httpd -y
systemctl start httpd.service

安裝 logstash

rpm -ivh logstash-5.5.1.rpm
systemctl start logstash
systemctl enable logstash
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/    //創(chuàng)建軟連接到bin目錄下

logstash（Apache）與 elasticsearch（node）功能是否正常，做對接測試：
可以用 logstash 這個(gè)命令測試：

[root@apache bin]# logstash
-f：可以指定 logstash的配置文件，根據(jù)配置文件配置 logstash
-e：后面跟著字符串，該字符串可以被當(dāng)做 logstash 的配置（如果是“”，則默認(rèn)使用stdin作為輸入、stdout作為輸出）
-t：測試配置文件是否正確，然后退出

輸入采用標(biāo)準(zhǔn)輸入、輸出采用標(biāo)準(zhǔn)輸出：

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.220.136:9200"] } }'

此時(shí)，瀏覽器訪問 http://192.168.50.142:9200/ 查看索引信息，就會多出 logstash-2019.12.17

登錄Apache主機(jī)，做對接配置：

logstash 配置文件主要由三部分組成：input、output、filter（這個(gè)視情況做不做）
給日志文件授權(quán)：
chmod o+r /var/log/messages

ll /var/log/messages
-rw----r--. 1 root root 488359 12月 17 14:52 /var/log/messages

創(chuàng)建并編輯配置文件：
vim /etc/logstash/conf.d/system.conf

input {
file {
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
}

output {
elasticsearch {
hosts => ["192.168.50.142:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}

重啟服務(wù)：

systemctl restart logstash.service

瀏覽器查看索引信息：會多出 system-2019.12.17

node1主機(jī)安裝 kibana

rpm -ivh kibana-5.5.1-x86_64.rpm
cd /etc/kibana/
cp kibana.yml kibana.yml.bak

vim kibana.yml
修改，開放以下功能：
server.port: 5601        //開發(fā)端口
server.host: "0.0.0.0"    //監(jiān)聽所有
elasticsearch.url: "http://192.168.50.142:9200"  
kibana.index: ".kibana"

重啟服務(wù)：

systemctl start kibana.service

瀏覽器訪問：192.168.50.142:5601
接下來在可視化界面中創(chuàng)建一個(gè)索引名：system-* （對接系統(tǒng)日志文件）

對接 Apache 主機(jī)的 Apache 日志文件 （包括正常訪問的、錯(cuò)誤的）

cd /etc/logstash/conf.d/

vim apache_log.conf  //創(chuàng)建配置文件，添加以下代碼：

input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.220.136:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error"{
elasticsearch {
hosts => ["192.168.220.136:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}

再在可視化界面上， 創(chuàng)建兩個(gè)索引：
1、apache_access-
2、apache_error-