ELK日志系统

概念

ELK是一套完整的日志集中处理方案。

E：ElasticSearck 简称ES 分布式索引型非关系型数据库，用来存储logstash输出的日志，它是一个全文检索引擎，保存的格式是json格式

L：logstash 是基于Java语言开发的，用来作数据收集引擎、日志的收集。可以对数据进行过滤，分析，汇总，以标准格式输出

K：Kibana 是ES的可视化工具，对ES存储的数据进行可视化展示，分析和检索。

实验

数据流向

架构

192.168.233.10 ES1

192.168.233.20 ES2

192.168.233.30 logstash+Kibana+nginx/http

步骤

1.安装ntpdate（所有设备都要安装）

yum -y install ntpdate -y

然后查看时间是否一致

2.在ES1和ES2（同步操作）

yum -y install java

安装 elasticsearch-6.7.2

rpm -ivh elasticsearch-6.7.2.rpm

然后配置elasticsearch

vim /etc/elasticsearch/elasticsearch.yml

ES1改为

ES2改为

然后检查配置文件是否有错

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

systemctl restart elasticsearch.service

netstat -antp | grep 9200

报错日志 tail -f /var/log/elasticsearch/elk-cluster.log

访问浏览器看看是否正常 192.168.233.10:9200

3.两台ES都安装以下三个软件（同步操作）

node：基于谷歌浏览器的运行环境

phantomjs：虚拟浏览器

es-head-master：es的独立可视化工具，可以实现分片索引数据的可视化展示

两台ES同步操作：

把node-v8.2.1.tar、phantomjs-2.1.1-linux-x86_64.tar、elasticsearch-head-master拖进虚拟机

yum -y install gcc gcc-c++ make

tar -xf node-v8.2.1.tar.gz

cd node-v8.2.1/

./configure

make -j 4 && make install

cd /opt/

tar -xf phantomjs-2.1.1-linux-x86_64.tar.bz2

cd /opt/phantomjs-2.1.1-linux-x86_64/

cd bin/

cp phantomjs /usr/local/bin/

cd /opt/

unzip elasticsearch-head-master.zip

cd elasticsearch-head-master/

npm config set registry http://registry.npm.taobao.org/ 指定淘宝镜像

npm install

vim /etc/elasticsearch/elasticsearch.yml

在最后添加

http.cors.enabled: true

http.cors.allow-origin: "*"

然后

systemctl restart elasticsearch.service

netstat -antp | grep 9200

npm run start &

然后访问可视化工具地址 192.168.233.10:9100

然后把localhost换成IP地址

然后在主ES1创建数据（ES也会同步）

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

注：每创建一个指名的索引类型都会对数据进行分片

高亮的就是主键，不亮的就是副键

4.在30上操作安装logstash

yum -y install httpd

systemctl restart httpd

yum -y install java

把logstash-6.7.2拖进30虚拟机

rpm -ivh logstash-6.7.2.rpm

systemctl restart logstash.service

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
#可以指定logstash的工作目录，默认为：/etc/logstash/conf.d
修改 vim /logstash.yml 然后在最后修改为 path.config: /opt/log

5.测试 Logstash 实例

logstash -e 'input { stdin{} } output { stdout{} }'

在这个下面输入www.baidu.com

结果

把数据发送到ES1和ES2

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.233.10:9200","192.168.233.20:9200"] } }' --path.data /opt/test1

如果报错

是因为后面没有加--path.data /opt/test1

在下面输入网址

www.baidu.com

结果

es的主从和数据模式

node.master: true

es数据库的主从类型 true/false

node.data: true

数据节点，是否保存数据，logstash发送数据，节点是否接收以及保存

ELK索引数据管理

es如何创建，修改，删除数据

通过http的方式创建数据，post方式修改数据

创建数据

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
对应的就是本地数据量的地址 IP+端口

put就是创建数据

index-demo 创建索引分片的名称

test 数据的名称

1 数据的id字段

?pretty&pretty 参数设定为json格式

-d 数据的具体内容

user":"zhangsan","mesg":"hello world 内容

修改数据

curl -X POST 'localhost:9200/index-demo/test/1/_update?pretty' -H 'Content-Type: application/json' -d '{ "doc": { "user": "zhangsan", "mesg": "hello1 world1" } }'

删除数据

curl -X DELETE 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello1 world1"}'

创建日志收集系统

1.在30上面操作写一个脚本

cd /etc/logstash/conf.d/

vim system.conf （system可以随便写）

input {file {path =>"/var/log/messages"type =>"system"start_position =>"beginning"}}output {elasticsearch {hosts=>["192.168.233.10:9200","192.168.233.20:9200"]index =>"system-%{+YYYY.MM.dd}"}
}

然后赋权 chmod 777 /var/log/messages

启动

logstash -f system.conf --path.data /opt/test2 &

结果