Filebeat es

devtools/2025/1/15 23:55:44/

es kibana

内网地址
127.0.0.1:9200
https://vpcep-7c16b185-4d03-475c-bf9b-c38cde8d02c0.test.huaweicloud.com:9200
账户 admin 
密码 admin
#端口
9200 eskibana
https://127.0.0.1:5601/app/login?nextUrl=%2F
账户 admin 
密码 admin

docker 构建容器启动

docker system prune -a

目录

cd /home/golang/filebeat/logs

调试 filebeat 配置

# 修改模板参数值 上传的参数不一致
setup.template.priority
# json解析问题调整
json.keys_under_root: true  # 修改这一行
json.add_error_key: true
json.message_key: json  # 修改这一行
# 先调试->在调试docker启动是否正常同步->启动镜像->启动正式容器

服务test配置

目录

cd /home/golang/filebeat/logs

filebeat.docker.yml

filebeat.config:modules:path: ${path.config}/modules.d/*.ymlreload.enabled: falsefilebeat.inputs:- type: logenabled: truepaths:- /var/log/test/**/*.log- /var/log/nginx/**/*.logprocessors:- decode_json_fields:fields: ["json"]process_array: falsemax_depth: 1target: ""output.elasticsearch:hosts: ["https://vpcep-7c16b185-4d03-475c-bf9b-c38cde8d02c0.test.huaweicloud.com:9200"]username: "admin"password: "admin"ssl.verification_mode: "none"  # 忽略 SSL 证书验证index: "metricbeat-test-prd-%{+yyyy.MM.dd}"  # 索引命名格式，按日期分割setup.template.name: "metricbeat-test-prd"
setup.template.pattern: "metricbeat-*"
setup.template.priority: 260# 禁用内置的索引模板（以防干扰）
filebeat.template.settings:index.number_of_shards: 1index.number_of_replicas: 0

使用官方的Filebeat基础镜像

目录
Dockerfile 文件

/home/golang/filebeat/logs

vim Dockerfile

filebeat.config:modules:path: ${path.config}/modules.d/*.ymlreload.enabled: falsefilebeat.inputs:- type: logenabled: truepaths:- /var/log/test/**/*.log- /var/log/nginx/**/*.logprocessors:- decode_json_fields:fields: ["json"]process_array: falsemax_depth: 1target: ""output.elasticsearch:hosts: ["https://vpcep-7c16b185-4d03-475c-bf9b-c38cde8d02c0.test.huaweicloud.com:9200"]username: "admin"password: "admin"ssl.verification_mode: "none"  # 忽略 SSL 证书验证index: "metricbeat-test-prd-%{+yyyy.MM.dd}"  # 索引命名格式，按日期分割setup.template.name: "metricbeat-test-prd"
setup.template.pattern: "metricbeat-*"
setup.template.priority: 260# 禁用内置的索引模板（以防干扰）
filebeat.template.settings:index.number_of_shards: 1index.number_of_replicas: 0
构建Docker镜像
docker build . -t metricbeat-test-prd
命令运行Filebeat容器
# 使用 Filebeat OSS 版本的基础镜像
FROM docker.elastic.co/beats/filebeat-oss:7.10.2# 将本地的 filebeat.docker.yml 文件复制到容器中
COPY filebeat.docker.yml /usr/share/filebeat/filebeat.yml# 挂载 Docker 守护进程的 socket（如果需要监控容器日志）
VOLUME ["/var/run/docker.sock:/var/run/docker.sock:ro"]# 挂载日志目录
VOLUME ["/var/log/test"]
VOLUME ["/var/log/nginx"]# 设置容器环境变量以避免兼容性问题
ENV ES_VERSION=7.10.2# 启动 Filebeat 并指定配置文件
CMD ["filebeat", "-e", "--strict.perms=false", "-c", "/usr/share/filebeat/filebeat.yml"]
查看容器日志
docker run -d \--name=metricbeat-test-prd \--user=root \--volume="/var/run/docker.sock:/var/run/docker.sock:ro" \--volume="/var/log/test:/var/log/test:ro" \--volume="/var/log/nginx:/var/log/nginx:ro" \metricbeat-test-prd

创建 es index

#地址
https://127.0.0.1:5601/app/dev_tools#/console
#命令
#
put /metricbeat-test-prd

添加 index 到面板

步骤 1：创建或验证索引模式

首先，确保在Kibana中创建了一个适用于metricbeat-test-prd*的索引模式。

  1. 登录到Kibana。

  2. 导航到 Management（管理） > Kibana > Index Patterns（索引模式）。

  3. 如果 metricbeat-test-prd* 索引模式尚未创建，点击 Create index pattern（创建索引模式）。

  4. 在“Index pattern”字段中输入 metricbeat-test-prd*。

  5. 选择时间字段（如果适用），例如 @timestamp，然后点击 Create index pattern（创建索引模式）。

步骤 2：配置 Discover 视图

创建好索引模式后，可以在 Discover 中查看和探索数据：

  1. 导航到 Discover 选项卡。

  2. 在页面顶部，您会看到一个索引选择下拉菜单。

  3. 在下拉菜单中选择 metricbeat-test-prd* 索引模式。

  4. 数据应自动加载，您可以开始使用各种过滤器、查询和数据视图。

步骤 3：调整可视化和过滤器

如果您需要对 metricbeat-test-prd* 索引的数据进行更复杂的过滤或分析，您可以使用以下功能：

  1. 查询栏：在顶部的查询栏中，您可以输入查询DSL（如@timestamp:[2024-01-01 TO 2024-12-31]）来过滤数据。

  2. 时间选择器：通过页面右上方的时间范围选择器，您可以选择不同的时间段。

  3. 字段过滤器：在字段列表中，您可以点击字段名称来应用过滤器。

步骤 4：保存和共享

如果您已经设置了特定的查询或过滤器，并希望保存它以便以后使用，您可以点击 Save（保存）按钮。这样您可以在 Discover 中快速访问已保存的视图。

discover

添加

metricbeat-test-prd* 

查看索引

#按条件查询
GET /metricbeat-test-prd/_search
{"query": {"match_all": {}}
}
#查询
GET /_cat/indices/metricbeat-test-prd
#查看索引
GET _cat/indices?v
#地址
https://127.0.0.1:5601/app/dev_tools#/console
#kibana 创建索引命令
PUT /_data_stream/metricbeat-test-prd

docker 直接启动

以docker形式启动filebeat

 

docker run -d \--name=filebeat \--user=root \--volume="/home/golang/filebeat/logs/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro" \--volume="/var/run/docker.sock:/var/run/docker.sock:ro" \--volume="/home/golang/filebeat/logs:/home/golang/filebeat/logs/logs:ro" \docker.elastic.co/beats/filebeat:8.6.2 filebeat -e --strict.perms=false 
#调试
docker run  \--name=filebeat \--user=root \--volume="/home/golang/filebeat/logs/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro" \--volume="/var/run/docker.sock:/var/run/docker.sock:ro" \--volume="/home/golang/filebeat/logs:/home/golang/filebeat/logs/logs:ro" \docker.elastic.co/beats/filebeat:8.6.2 filebeat -e --strict.perms=false 
 

 

 

filebeat 配置 filebeat.docker.yml
 

prd 
 

 

filebeat.config:modules:path: ${path.config}/modules.d/*.ymlreload.enabled: falsefilebeat.inputs:
type: log
enabled: true
paths:
processors:
decode_json_fields:fields: ["json"]process_array: falsemax_depth: 1target: ""
output.elasticsearch:ssl.verification_mode: nonehosts: ["https://127.0.0.1:9200"]username: "admin"password: "admin"index: "metricbeat-test-prd"
setup.template.name: "metricbeat-test-prd"
setup.template.pattern: "metricbeat-*"
setup.template.priority: 50
 

 

 












http://www.ppmy.cn/devtools/150390.html












相关文章










自动化机械臂视觉跟踪和手眼校准









自动化机械臂视觉跟踪和手眼校准




本文重点介绍了一款专为机器人教育而设计的具有动态跟踪功能的创客友好型机械臂 
硬件组件 M5Stack ESP32 Basic Core IoT Development Kit 
Raspberry Pi 4 Model B Espressif ESP32S   Elephant Robotics myCobot 320 m5 
引言 
今天文章的重点是使用myCobot 320机械臂重新创…




阅读更多...

















【samba】主机名访问ubuntu的samba文件夹









【samba】主机名访问ubuntu的samba文件夹




197机器是双系统的。之前在ubuntu（k8s-master-pfsrv）上创建了perfwork的samba共享文件夹现在同一个ip地址197 的windows系统也有共享文件夹。这些我从65的win机器访问 ubuntu系统共享文件夹，ubuntu 都不管用了。难道是win的配置后，之前的ubuntu的就重复了？之前直接用ip地址…




阅读更多...

















Qwen2ForSequenceClassification文本分类实战和经验分享









Qwen2ForSequenceClassification文本分类实战和经验分享




本文主要使用Qwen2ForSequenceClassification实现文本分类任务。 文章首发于我的知乎：https://zhuanlan.zhihu.com/p/17468021019 一、实验结果和结论 这几个月，在大模型分类场景做了很多实验，攒了一点小小经验。 1、短文本 1)query情感分类&…




阅读更多...

















Perl语言的软件开发工具









Perl语言的软件开发工具




Perl语言的软件开发工具概述 
引言 
在软件开发的世界里，选择合适的编程语言和开发工具是成功的关键之一。Perl语言，作为一种功能强大的脚本语言，在数据处理、文本分析、系统管理和Web开发等多个领域中发挥着重要作用。在众多程序设计语言中&…




阅读更多...

















在 Ubuntu 下通过 Docker 部署 MySQL 服务器









在 Ubuntu 下通过 Docker 部署 MySQL 服务器




简介 
Docker 是一个开源的容器化平台，让开发者能够轻松打包、分发和运行应用程序。它通过容器隔离应用和依赖，确保一致的运行环境。而 MySQL 是一个广泛使用的关系型数据库管理系统，以其高性能和可靠性而著称。结合 Docker 和 MySQL&#xf…




阅读更多...

















跨境电商领域云手机之选：亚矩阵云手机的卓越优势









跨境电商领域云手机之选：亚矩阵云手机的卓越优势




在跨境电商蓬勃发展的当下，云手机已成为众多企业拓展海外市场的得力助手。亚矩阵云手机凭借其独特优势，在竞争激烈的云手机市场中崭露头角。不过，鉴于市场上云手机服务供应商繁多，企业在抉择时需对诸多要素予以审慎考量。 跨境电商…




阅读更多...

















顶层const与底层const









顶层const与底层const




当一个常量引用绑定到与其本身不同的数据类型时，会生成一个临时量。 
例如，有一个const int&（常量引用指向整数），如果用一个double类型的值去初始化它，编译器会创建一个临时的int变量，这个临…




阅读更多...

















Win11远程桌面怎么设置？









Win11远程桌面怎么设置？




通过Windows自带的远程桌面功能，可以轻松的远程访问另一台电脑。不过，在使用这一功能之前，需要先进行相关的设置。那么，Win11远程桌面怎么设置？接下来，我们将为您提供详细的Win11远程桌面设置步骤。 
步骤 …




阅读更多...















 
 
 
 










最新文章







 





















Copyright @ 2022~2023