Filebeat es

news/2025/1/11 18:06:19/

es kibana

内网地址
127.0.0.1:9200
https://vpcep-7c16b185-4d03-475c-bf9b-c38cde8d02c0.test.huaweicloud.com:9200
账户 admin 
密码 admin
#端口
9200 eskibana
https://127.0.0.1:5601/app/login?nextUrl=%2F
账户 admin 
密码 admin

docker 构建容器启动

docker system prune -a

目录

cd /home/golang/filebeat/logs

调试 filebeat 配置

# 修改模板参数值 上传的参数不一致
setup.template.priority
# json解析问题调整
json.keys_under_root: true  # 修改这一行
json.add_error_key: true
json.message_key: json  # 修改这一行
# 先调试->在调试docker启动是否正常同步->启动镜像->启动正式容器

服务test配置

目录

cd /home/golang/filebeat/logs

filebeat.docker.yml

filebeat.config:modules:path: ${path.config}/modules.d/*.ymlreload.enabled: falsefilebeat.inputs:- type: logenabled: truepaths:- /var/log/test/**/*.log- /var/log/nginx/**/*.logprocessors:- decode_json_fields:fields: ["json"]process_array: falsemax_depth: 1target: ""output.elasticsearch:hosts: ["https://vpcep-7c16b185-4d03-475c-bf9b-c38cde8d02c0.test.huaweicloud.com:9200"]username: "admin"password: "admin"ssl.verification_mode: "none"  # 忽略 SSL 证书验证index: "metricbeat-test-prd-%{+yyyy.MM.dd}"  # 索引命名格式，按日期分割setup.template.name: "metricbeat-test-prd"
setup.template.pattern: "metricbeat-*"
setup.template.priority: 260# 禁用内置的索引模板（以防干扰）
filebeat.template.settings:index.number_of_shards: 1index.number_of_replicas: 0

使用官方的Filebeat基础镜像

目录
Dockerfile 文件

/home/golang/filebeat/logs

vim Dockerfile

filebeat.config:modules:path: ${path.config}/modules.d/*.ymlreload.enabled: falsefilebeat.inputs:- type: logenabled: truepaths:- /var/log/test/**/*.log- /var/log/nginx/**/*.logprocessors:- decode_json_fields:fields: ["json"]process_array: falsemax_depth: 1target: ""output.elasticsearch:hosts: ["https://vpcep-7c16b185-4d03-475c-bf9b-c38cde8d02c0.test.huaweicloud.com:9200"]username: "admin"password: "admin"ssl.verification_mode: "none"  # 忽略 SSL 证书验证index: "metricbeat-test-prd-%{+yyyy.MM.dd}"  # 索引命名格式，按日期分割setup.template.name: "metricbeat-test-prd"
setup.template.pattern: "metricbeat-*"
setup.template.priority: 260# 禁用内置的索引模板（以防干扰）
filebeat.template.settings:index.number_of_shards: 1index.number_of_replicas: 0
构建Docker镜像
docker build . -t metricbeat-test-prd
命令运行Filebeat容器
# 使用 Filebeat OSS 版本的基础镜像
FROM docker.elastic.co/beats/filebeat-oss:7.10.2# 将本地的 filebeat.docker.yml 文件复制到容器中
COPY filebeat.docker.yml /usr/share/filebeat/filebeat.yml# 挂载 Docker 守护进程的 socket（如果需要监控容器日志）
VOLUME ["/var/run/docker.sock:/var/run/docker.sock:ro"]# 挂载日志目录
VOLUME ["/var/log/test"]
VOLUME ["/var/log/nginx"]# 设置容器环境变量以避免兼容性问题
ENV ES_VERSION=7.10.2# 启动 Filebeat 并指定配置文件
CMD ["filebeat", "-e", "--strict.perms=false", "-c", "/usr/share/filebeat/filebeat.yml"]
查看容器日志
docker run -d \--name=metricbeat-test-prd \--user=root \--volume="/var/run/docker.sock:/var/run/docker.sock:ro" \--volume="/var/log/test:/var/log/test:ro" \--volume="/var/log/nginx:/var/log/nginx:ro" \metricbeat-test-prd

创建 es index

#地址
https://127.0.0.1:5601/app/dev_tools#/console
#命令
#
put /metricbeat-test-prd

添加 index 到面板

步骤 1：创建或验证索引模式

首先，确保在Kibana中创建了一个适用于metricbeat-test-prd*的索引模式。

  1. 登录到Kibana。

  2. 导航到 Management（管理） > Kibana > Index Patterns（索引模式）。

  3. 如果 metricbeat-test-prd* 索引模式尚未创建，点击 Create index pattern（创建索引模式）。

  4. 在“Index pattern”字段中输入 metricbeat-test-prd*。

  5. 选择时间字段（如果适用），例如 @timestamp，然后点击 Create index pattern（创建索引模式）。

步骤 2：配置 Discover 视图

创建好索引模式后，可以在 Discover 中查看和探索数据：

  1. 导航到 Discover 选项卡。

  2. 在页面顶部，您会看到一个索引选择下拉菜单。

  3. 在下拉菜单中选择 metricbeat-test-prd* 索引模式。

  4. 数据应自动加载，您可以开始使用各种过滤器、查询和数据视图。

步骤 3：调整可视化和过滤器

如果您需要对 metricbeat-test-prd* 索引的数据进行更复杂的过滤或分析，您可以使用以下功能：

  1. 查询栏：在顶部的查询栏中，您可以输入查询DSL（如@timestamp:[2024-01-01 TO 2024-12-31]）来过滤数据。

  2. 时间选择器：通过页面右上方的时间范围选择器，您可以选择不同的时间段。

  3. 字段过滤器：在字段列表中，您可以点击字段名称来应用过滤器。

步骤 4：保存和共享

如果您已经设置了特定的查询或过滤器，并希望保存它以便以后使用，您可以点击 Save（保存）按钮。这样您可以在 Discover 中快速访问已保存的视图。

discover

添加

metricbeat-test-prd* 

查看索引

#按条件查询
GET /metricbeat-test-prd/_search
{"query": {"match_all": {}}
}
#查询
GET /_cat/indices/metricbeat-test-prd
#查看索引
GET _cat/indices?v
#地址
https://127.0.0.1:5601/app/dev_tools#/console
#kibana 创建索引命令
PUT /_data_stream/metricbeat-test-prd

docker 直接启动

以docker形式启动filebeat

 

docker run -d \--name=filebeat \--user=root \--volume="/home/golang/filebeat/logs/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro" \--volume="/var/run/docker.sock:/var/run/docker.sock:ro" \--volume="/home/golang/filebeat/logs:/home/golang/filebeat/logs/logs:ro" \docker.elastic.co/beats/filebeat:8.6.2 filebeat -e --strict.perms=false 
#调试
docker run  \--name=filebeat \--user=root \--volume="/home/golang/filebeat/logs/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro" \--volume="/var/run/docker.sock:/var/run/docker.sock:ro" \--volume="/home/golang/filebeat/logs:/home/golang/filebeat/logs/logs:ro" \docker.elastic.co/beats/filebeat:8.6.2 filebeat -e --strict.perms=false 
 

 

 

filebeat 配置 filebeat.docker.yml
 

prd 
 

 

filebeat.config:modules:path: ${path.config}/modules.d/*.ymlreload.enabled: falsefilebeat.inputs:
type: log
enabled: true
paths:
processors:
decode_json_fields:fields: ["json"]process_array: falsemax_depth: 1target: ""
output.elasticsearch:ssl.verification_mode: nonehosts: ["https://127.0.0.1:9200"]username: "admin"password: "admin"index: "metricbeat-test-prd"
setup.template.name: "metricbeat-test-prd"
setup.template.pattern: "metricbeat-*"
setup.template.priority: 50
 

 

 












http://www.ppmy.cn/news/1562298.html












相关文章










Java聊天小程序









Java聊天小程序




拟设计一个基于 Java 技术的局域网在线聊天系统，实现客户端与服务器之间的实时通信。系统分为客户端和服务器端两类，客户端用于发送和接收消息，服务器端负责接收客户端请求并处理消息。客户端通过图形界面提供用户友好的操作界面，服务器端监听多个客户端的连接并管理消息通…




阅读更多...

















【蓝桥杯比赛-C++组-经典题目汇总】









【蓝桥杯比赛-C++组-经典题目汇总】




1. 最短路 题目描述： 如下图所示，G是一个无向图，其中蓝色边的长度是1、橘色边的长度是2、绿色边的长度是3。 
则从 A 到 S 的最短距离是多少？ 
#include <iostream> #include <cstring> using namespace std; const i…




阅读更多...

















[免费]微信小程序(高校就业)招聘系统(Springboot后端+Vue管理端)【论文+源码+SQL脚本】









[免费]微信小程序(高校就业)招聘系统(Springboot后端+Vue管理端)【论文+源码+SQL脚本】




大家好&#xff0c;我是java1234_小锋老师&#xff0c;看到一个不错的微信小程序(高校就业)招聘系统(Springboot后端Vue管理端)&#xff0c;分享下哈。 
项目视频演示 
【免费】微信小程序(高校就业)招聘系统(Springboot后端Vue管理端) Java毕业设计_哔哩哔哩_bilibili 项目介绍…




阅读更多...

















cJson——序列化格式json和protobuf对比









cJson——序列化格式json和protobuf对比




cJson——序列化格式json和protobuf对比 1. 更小的消息体积2. 更快的序列化与反序列化速度3. 类型安全4. 向后和向前兼容性5. 更低的带宽消耗6. 高效的编码方式7. 易于跨语言支持8. 支持复杂的数据结构9. 更好的支持大型数据交换总结 Protocol Buffers (Protobuf) 和 JSON 都是…




阅读更多...

















HTML 迷宫游戏









HTML 迷宫游戏




HTML 迷宫游戏 相关资源文件已经打包成压缩文件&#xff0c;可双击index.html直接运行程序&#xff0c;且文章末尾已附上相关源码&#xff0c;以供大家学习交流&#xff0c;博主主页还有更多Python相关程序案例&#xff0c;秉着开源精神的想法&#xff0c;望大家喜欢&#xff0…




阅读更多...

















stm32u5串口点灯









stm32u5串口点灯




通过对单个字符输入的拼接暂存&#xff0c;实现对字符串的比较控制灯的亮灭 
char buf[32];char temp[32];while (1){printf("start\n\r");memset(temp,0, sizeof(temp));memset(buf,0, sizeof(buf));while(temp[0] !\r){memset(temp,0, sizeof(temp));HAL_UART_Rece…




阅读更多...

















【跨域问题】









【跨域问题】




跨域问题 
官方概念&#xff1a; 
当一个请求url的协议、域名、端口三者之间任意一个与当前页面url不同即为跨域本质来说&#xff0c;是前端请求给到后端时候&#xff0c;请求头里面&#xff0c;有一个 Origin &#xff0c;会带上 协议域名端口号等&#xff1b;后端接受到请求&…




阅读更多...

















R语言在森林生态研究中的魔法：结构、功能与稳定性分析——发现数据背后的生态故事！









R语言在森林生态研究中的魔法：结构、功能与稳定性分析——发现数据背后的生态故事！




森林生态系统结构、功能与稳定性分析与可视化研究具有多方面的重要意义&#xff0c;具体如下&#xff1a; 一、理论意义 ●深化生态学理论 通过研究森林生态系统的结构、功能与稳定性&#xff0c;可以深化对生态系统基本理论的理解。例如&#xff0c;生物多样性与生态系统稳定性…




阅读更多...















 
 
 
 










最新文章







 





















Copyright @ 2022~2023