1. 简介
- Lightweight Data Shipper
- Filebeat 日志文件
- Metricbeat 度量数据
- Packetbeat 网络数据
- Winlogbeat Windows数据
- Heartbeat 健康检查
2. Filebeat简介
- 处理流程
- 输入input
- 处理filter
- 输入output
- 构成
- Prospector 观察者
- Harvester 收割者
- Filebeat Input配置
- yaml语法
filebeat.prospectors:-input_type: logpaths:-/var/log/apache/http-*.log-input_type: logpaths:-/var/log/messages-/var/log/*.log
- input_type
- log
- stdin
- Filebeat Output配置
- Console
- Elasticsearch
- Logstash
- Kafka
- Redis
- File
output.elasticsearch:hosts: ["http://localhost:9200"]username: "admin"password: "admin" output.console:pretty: true
- Filebeat Filter配置
- Input时处理
- Include_lines
- exclude_lines
- exclude_files
- Output前处理 -- Processor
- drop_event
- drop_fields
- Decode_json_fields
- Include_fields
processors:- drop_event:when:regexp:message: "^DBG:"processors:- decode_json_fields:fields: ["inner"]
3. Filebeat高级使用
- Filebeat缺乏数据转换的能力
- Elasticsearch Ingest Node
- 新增的node类型
- 在数据写入es前对数据进行处理转换
- pipleline api
- Filebeat Module
- 对于社区常见需求进行配置封装增加易用性
- nginx
- apache
- mysql
- 封装内容
- filebeat.yml配置
- ingest node pipeline 配置
- Kibana dashboard
4. Packetbeat简介
- 实时抓取网络包
- 自动解析应用层协议
- ICMP(v4 and v6)
- DNS
- HTTP
- Mysql
- Redis
- ....
- Wireshark