ELK 日志分析系统(二)

ops/2024/11/20 1:22:02/

一、ELK Kibana 部署

1.1 安装Kibana软件包

#上传软件包 kibana-5.5.1-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm

1.2 设置 Kibana 的主配置文件

vim /etc/kibana/kibana.yml
--2--取消注释,Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释,设置 Kiabana 的监听地址,0.0.0.0代表所有地址
server.host: "0.0.0.0"
--21--取消注释,设置和 Elasticsearch 建立连接的地址和端口
elasticsearch.url: "http://192.168.133.10:9200" 
--30--取消注释,设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"

1.3 启动 Kibana 服务

systemctl start kibana.service
systemctl enable kibana.service
netstat -natp | grep 5601

1.4 验证 Kibana

第一次登录需要添加一个 Elasticsearch 索引:

Index name or pattern 里输入:system-*      #在索引名中输入之前配置的 Output 前缀“system”

单击 “create” 按钮创建,单击 “Discover” 按钮可查看图表信息及日志信息。

1.5 将 Apache 服务器日志添加到 Elasticsearch 并通过 Kibana 显示

vim /etc/logstash/conf.d/apache_log.conf
input {file{path => "/etc/httpd/logs/access_log"type => "access"start_position => "beginning"}file{path => "/etc/httpd/logs/error_log"type => "error"start_position => "beginning"}
}
output {if [type] == "access" {elasticsearch {hosts => ["192.168.10.13:9200"]index => "apache_access-%{+YYYY.MM.dd}"}}if [type] == "error" {elasticsearch {hosts => ["192.168.10.13:9200"]index => "apache_error-%{+YYYY.MM.dd}"}}
}
cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf

二、Filebeat+ELK

2.1 简介

Filebeat是一款轻量级的日志收集工具,可以在非JAVA环境下运行。

因此,Filebeat常被用在非JAVAf的服务器上用于替代Logstash,收集日志信息。实际上,Filebeat几乎可以起到与Logstash相同的作用,可以将数据转发到Logstash、Redis或者是Elasticsearch中进行直接处理。

2.2 使用Filebeat的原因

logstash就需要消耗500M左右的内存,而filebeat只需要10M左右的内存资源。

常用的ELK日志采集方案中,大部分的做法就是将所有节点的日志内容通过filebeat发送到logstash,lostash根据配置文件进行过滤,然后将过滤之后的文件传输到elasticsearch中,最后通过kibana展示。

2.3 好处

Filebeat结合logstash中,Filebeat负责收集日志,logstash负责过滤。

(1)通过logstash,具有基于磁盘的自适应缓冲系统,该系统将吸收传入的吞吐量,从而减轻Elasticsearch持续写入数据的压力。

(2)从其它数据源(例如数据库,s3对象存储或消息传递队列)中提取

(3)将数据发送到多个目的地,例如S3,HDFS(hadoop分部署文件系统)或写入文件

(4)使用数据流逻辑组成更复杂的处理管道。


http://www.ppmy.cn/ops/17240.html

相关文章

FPGA ——Verilog语法示例

FPGA ——Verilog语法示例 多模块定义条件判断 多模块定义 genvar i ;generatefor (i0 ; i<8; ii1)beginxdc xdc_u(.d1 (d1 ) ,.d2 (d2 ) ,.d3 (d3 ));end endgenerate条件判断 generate beginif(DEBUG "ON")beginila ila_u(.clk(clk),.probe0({A1,A2,A3,A4}))…

基于nest框架的redis streams实现mq(bullmq)

官网文档地址&#xff1a;Documentation | NestJS - A progressive Node.js framework 0.队列简介 队列是一种强大的设计模式&#xff0c;可以帮助您处理常见的应用程序扩展和性能挑战。队列可以帮助您解决的一些问题示例如下: &#xff08;1&#xff09;平滑处理峰。例如&…

算法项目(9)—— 大模型实现PDF检索加QA

本文包含什么? 使用大语言模型进行多个PDF问答检索加QA.gradio实现的网页界面操作,全套代码以及代码介绍运行有问题? csdn上后台随时售后.项目说明 本项目实现使用大语言模型为核心,gradio框架,调用vicuna实现多个pdf QA 代码运行 python3 main.pyimport gradio as gr fr…

【MySQL】数据类型

1. MySQL中的数据类型 整数类型&#xff1a;TINYINT、SMALLINT、MEDIUMINT、INT(或INTEGER)、BIGINT 浮点类型&#xff1a;FLOAT、DOUBLE 定点数类型&#xff1a;DECIMAL …

虚良SEO怎么有效的对百度蜘蛛权重优化?

人们交换链接通常首先要问的是你BR值是多少&#xff1f;国内搜索引擎来说以百度马首是瞻&#xff0c;无论seo还是竞价都看重的是百度&#xff0c;那么针对百度权重的优化就特别重要了。其实&#xff0c;百度权重是民间的一种说法&#xff0c;百度官方并没有认同这个数值&#x…

Pytorch实用教程:nn.Linear内部是如何实现的,从哪里可以看到源码?

文章目录 nn.Linear简介nn.Linear 基本介绍nn.Linear 的参数nn.Linear源码解析查看源码的方法nn.Linear 的核心源码nn.Linear用法的示例代码示例说明示例代码代码解释nn.Linear简介 nn.Linear 是 PyTorch 中非常基础的一个模块,用于实现全连接层。下面我会详细解释它的内部实…

wstunnel (websocket模式代理http)

项目地址&#xff1a;Releases erebe/wstunnel GitHub 客户端centos7 192.168.254.134 服务端centos7 192.168.254.131 在客户端浏览器访问网站&#xff0c;流量经过客户端和服务端的websocket通信&#xff0c;最终服务端请求网站&#xff0c;返回数据&#xff0c;达到代…

exp 4

实验四 视图 基本概念 用户可以用SQL语言对视图(View)和基本表(Base Table)进行查询等操作&#xff0c;在用户观点里&#xff0c;视图和表一样&#xff0c;都是关系。 视图是从一个或多个基本表中导出的表&#xff0c;本身不存储在数据库中&#xff0c;只有其定义&#xff0…