【Elasticsearch】file-beat 将文件数据导入es

1、备份 filebeat.yml 文件：

2、新 filebeat.yml 文件配置示例：

###################### Filebeat Configuration Example ########################## ============================== Filebeat inputs ===============================filebeat.inputs:
- type: logenabled: true  # 注意：# 文件最后必须回车换行，否则最后一行将不会被导入es。# 为避免数据重复写入，被指定路径的文件不会被二次执行，即使更新索引也不行。paths:- /home/lvlh/soft/filebeat-8.4.1-linux-x86_64/logtest/cdrlog02/cdr_*.logencoding: utf-8# ================================== Outputs ===================================
# Configure what output to use when sending the data collected by the beat.#控制台输出
#output.console:#pretty: true# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:# Array of hosts to connect to.hosts: ["localhost:9200"]# 索引名称一般为‘服务名称+ip+ --%{+yyyy.MM.dd}’index: "cdr-log-%{+yyyy.MM.dd}"username: "elastic"password: "CV-j4TSSiIhRgG0mCt-k"# 配置文件的部分指定 用于设置的索引模板 Elasticsearch 中的映射。
# 如果启用了模板加载（默认值）， 文件节拍成功后自动加载索引模板 连接到 Elasticsearch。
setup.template.name: "test-index-template-01"
setup.template.pattern: "test-index-template-*"  #============================== Kibana =====================================setup.kibana:              #kibanaIP地址host: "localhost:5601"username: "elastic"password: "CV-j4TSSiIhRgG0mCt-k"

###################### Filebeat Configuration Example ########################## ============================== Filebeat inputs ===============================filebeat.inputs:
- type: logenabled: true  # 注意：# 文件最后必须回车换行，否则最后一行将不会被导入es。# 为避免数据重复写入，被指定路径的文件不会被二次执行，即使更新索引也不行。paths:- /home/lvlh/soft/filebeat-8.4.1-linux-x86_64/logtest/test01/test_logfile_*.log# 日志标签，区别不同日志，下面建立索引会用到fields:index: "test-filebeat-01"# 指定被监控的文件的编码类型，使用plain和utf-8都是可以处理中文日志的encoding: utf-8# 多行日志开始的那一行匹配的pattern#multiline.pattern: ^{# 是否需要对pattern条件转置使用，不翻转设为true，反转设置为false。  【建议设置为true】#multiline.negate: true# 匹配pattern后，与前面（before）还是后面（after）的内容合并为一条日志#multiline.match: after- type: logenabled: true  paths:- /home/lvlh/soft/filebeat-8.4.1-linux-x86_64/logtest/test02/apache-daily-access_*.logfields:index: "test-filebeat-02"encoding: utf-8# ================================== Outputs ===================================
# Configure what output to use when sending the data collected by the beat.#控制台输出
#output.console:#pretty: true# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:# Array of hosts to connect to.hosts: ["localhost:9200"]# 索引名称一般为‘服务名称+ip+ --%{+yyyy.MM.dd}’#index: "test-filebeat-01"# indices:- index: "test-filebeat-01-%{+yyyy.MM.dd}"when.contains:fields:index: "test-filebeat-01"- index: "test-filebeat-02-%{+yyyy.MM.dd}"when.contains:fields:index: "test-filebeat-02"username: ""password: ""# ES重试次数，默认3次，超过3次后，当前事件将被丢弃max_retries: 3 # 配置文件的部分指定 用于设置的索引模板 Elasticsearch 中的映射。
# 如果启用了模板加载（默认值）， 文件节拍成功后自动加载索引模板 连接到 Elasticsearch。
setup.template.name: "test-index-template-01"
setup.template.pattern: "test-index-template-*"  #============================== Kibana =====================================setup.kibana:              #kibanaIP地址host: "localhost:5601"username: ""password: ""

3、启动：

在根路径下：./filebeat -e -c filebeat.yml