ELK環(huán)境搭建+安全認(rèn)證、Nginx日志收集

? ? ??? ? ?在此之前，ELK理論知識(shí)我已經(jīng)在我的上一篇博客已經(jīng)闡述完了，在本篇博客中我將部署完整的ELK環(huán)境，如有不足之處、請(qǐng)大家批評(píng)指證。

1. ? 一、? ?ELK安裝信息

2. 192.168.10.101? Elasticsearch+kibana 192.168.10.103? Logstash 注釋：部署環(huán)境應(yīng)部署JDK1.8版本因?yàn)镋LK是由java語言開發(fā)因此事先部署jdk環(huán)境。

3. ? ?（一）??我這里已經(jīng)部署完成

4. java version "1.8.0_131"

5. Java(TM) SE Runtime Environment (build 1.8.0_131-b11)

6. Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

?（二）? ?下載Elasticsearch+kibana，由于我們是在一臺(tái)服務(wù)器部署ES和kibana因此我們安裝順序安裝。下載ES并配置

tar?zxvf?elasticsearch-5.3.0.tar.gz
mv?elasticsearch-5.3.0?/usr/local/elasticsearch
useradd?elk???#由于ES不能使用root用戶啟動(dòng)，因此創(chuàng)建普通用戶elk不用設(shè)置密碼
chown?-R?elk?/usr/local/elasticsearch/?????#改變文件擁有者
vim??/usr/local/elasticsearch/config?jvm.options????????????#進(jìn)入到這個(gè)文件并修改內(nèi)存因?yàn)槲业奶摂M機(jī)內(nèi)存是2G的因此要改為1G，如果你的虛擬機(jī)是4G或者8G你就可以忽略此選項(xiàng)。
vim??usr/local/elasticsearch/config/?elasticsearch.yml
找到#?network.host這一行，并修改為0.0.0.0?????#設(shè)置監(jiān)聽ip?
?su?–?elk?????#切換用戶
/usr/local/elasticsearch/bin/elasticsearch?-d?????#-d、代表后臺(tái)啟動(dòng)
netstat?-ntlp|grep?-E?"9200|9300"???#查看端口是否啟動(dòng)?
??Port?9200??????ES對(duì)外數(shù)據(jù)存儲(chǔ)端口，客戶端連接該端口發(fā)送和接收數(shù)據(jù)；
??Port?9300??????ES對(duì)內(nèi)部分布式集群節(jié)點(diǎn)的端口，分布式節(jié)點(diǎn)之間通信；

1.??????? 至此ES已經(jīng)配置完，接下來部署Kibana

tar?zxvf?kibana-5.3.0-linux-x86_64.tar.gz
mv?kibana-5.3.0-linux-x86_64?/usr/local/kibana
/usr/local/kibana
chown?-R?elk.root?*???????#改變擁有者
vim?/usr/local/kibana/config/?kibana.yml
找到#server.host???????#去掉注釋后面寫0.0.0.0
找到#?elasticsearch.url:????#啟動(dòng)注釋后面寫自己本機(jī)ip+port，如果有節(jié)點(diǎn)以逗號(hào)為分隔
啟動(dòng)kibana
cd??/usr/local/kibana/bin
nohup?./kibana?&????以后臺(tái)方式啟動(dòng)
netstat?-tnl|grep?-E?"9200|9300|5601"????#端口是否啟動(dòng)，5601為kibana端口
打開瀏覽器輸入kibana服務(wù)器ip，成功訪問出現(xiàn)如下界面

? ? ? ? ? ? 2、默認(rèn)界面是英文界面，不方便管理人員因此我們要對(duì)ELK-WEB進(jìn)行中文漢化支持

????????下載地址：wget?http://bbs.jfedu.net/download/Kibana_Hanization_2018.tar.gz
????????由于漢化過程是不可逆的，因此漢化前應(yīng)把Kibana備份
????????cp?kibana/?kibana.bak?-a
????????tar?xzf?Kibana_Hanization_2018.tar.gz
????????python?main.py?/usr/local/kibana

? ? ? ? （1）打開瀏覽器查看是否漢化成功

? ? 二、?ES+Kibana已經(jīng)配置完成，接下來配置客戶端Logstash

tar?xzf?logstash-5.3.0.tar.gz
mv?logstash-5.3.0?/usr/local/logstash
/usr/local/logstash?
mkdir???etc????????#默認(rèn)沒有etc文件，所以新建一個(gè)因?yàn)檫@里放的都是Logstash收集客戶端的指令

?（一）我們?cè)诳蛻舳耸占疦ginx日志

vim?/usr/local/logstash/etc/nginx_logs.conf?
input?{
???file?{
???????type?=>?"nginx-access"
???????path?=>?"/usr/local/nginx/logs/access.log"
???}
}
output?{
??elasticsearch?{
????hosts?=>?"192.168.10.101"???#填寫ES服務(wù)器的地址
????}
}

nohup?../bin/logstash?-f?nginx_log.conf?&??#啟動(dòng)Logstash

? ?1、? ?打開Kibana瀏覽器清晰看到Nginx訪問日志

? ? ? ?

? ? 三、Kibana安全認(rèn)證

? ??當(dāng)我們安裝完ES、Kibana啟動(dòng)進(jìn)程，可以直接在瀏覽器訪問，這樣不利于數(shù)據(jù)安全，接下來我們利用Apache的密碼認(rèn)證進(jìn)行安全配置。通過訪問Nginx轉(zhuǎn)發(fā)只ES和kibana服務(wù)器。

Kibana服務(wù)器安裝Nginx：

um?install?pcre-devel?pcre?-y
wget?-c?http://nginx.org/download/nginx-1.12.0.tar.gz?
tar?-xzf?nginx-1.12.0.tar.gz
useradd?www?；
cd?nginx-1.12.0
./configure?--user=www?--group=www?--prefix=/usr/local/nginx?--with-http_stub_status_module?--with-http_ssl_module
make?&&?make?install

?(一)、修改Nginx.conf配置文件代碼如下：

worker_processes??1;
events?{
????worker_connections??1024;
}
http?{
????include???????mime.types;
????default_type??application/octet-stream;
????sendfile????????on;
????keepalive_timeout??65;
????upstream??jvm_web1?{
????server????127.0.0.1:5601??weight=1??max_fails=2??fail_timeout=30s;
}
????server?{
????????listen??80;
????????server_name??localhost;
????????location?/?{
?????????proxy_set_header??Host??$host;
?????????proxy_set_header??X-Real-IP??$remote_addr;
?????????proxy_set_header?X-Forwarded-For?$proxy_add_x_forwarded_for;
?????????proxy_pass?http://jvm_web1;
????????}
????}
}

? ? 1、修改kibana配置文件監(jiān)聽IP為127.0.0.1：

?2、重啟kibana和Nginx服務(wù)，通過Nginx 80端口訪問如下：

?3、添加Nginx權(quán)限認(rèn)證：

?Nginx.conf配置文件location /中加入如下代碼：

auth_basic???"ELK?Kibana?Monitor?Center";?auth_basic_user_file???/usr/local/nginx/html/.htpasswd;????
通過Apache加密工具h(yuǎn)tpasswd生成用戶名和密碼：
htpasswd?-c?/usr/local/nginx/html/.htpasswd?admin

? 4、重啟Nginx web服務(wù)，訪問如下:

用戶名和密碼正確，即可登錄成功，如下圖所示：