ELK超详细操作文档

server/2024/12/2 21:53:55/

ELK简介

ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。

  • ElasticSearch
    • ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
    • Elasticsearch 是用 Java 开发的，可通过 RESTful Web 接口，让用户可以通过浏览器与 Elasticsearch 通信。
    • Elasticsearch 是个分布式搜索和分析引擎，优点是能对大容量的数据进行接近实时的存储、搜索和分析操作。
  • Logstash
    • Logstash：作为数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置,一般会发送给 Elasticsearch。
    • Logstash 由JRuby 语言编写，运行在 Java 虚拟机（JVM）上，是一款强大的数据处理工具， 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能，常用于日志处理。
  • Kiabana：
    • Kiabana：是基于 Node.js 开发的展示工具，可以为 Logstash 和 ElasticSearch 提供图形化的日志分析 Web 界面展示，可以汇总、分析和搜索重要数据日志。
  • Filebeat:
    • Filebeat：轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。

为什么使用ELK

  • 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
  • 往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析，但是当日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
  • 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

完整日志系统的基本特征

  • 收集：能够采集多种来源的日志数据
  • 传输：能够稳定的把日志数据解析过滤并传输到存储系统
  • 存储：存储日志数据
  • 分析：支持 UI 分析
  • 警告：能够提供错误报告，监控机制

ELK工作原理

  1. 在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash。
  2. Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中。
  3. Elasticsearch 对格式化后的数据进行索引和存储。
  4. Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示。

一、安装部署Elasticsearch

1、下载elasticsearch

wget https://mirrors.huaweicloud.com/elasticsearch/7.8.0/elasticsearch-7.8.0-linux-x86_64.tar.gz

2、解压

tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz

3、修改配置文件

修改config/elasticsearch.yml

node.name: node-1 # 设置节点名
network.host: 0.0.0.0 # 允许外部 ip 访问
cluster.initial_master_nodes: ["node-1"] # 设置集群初始主节点

4、新建用户并赋权

adduser es
passwd es
chown -R es /opt/installs/elasticsearch

5、切换至新建的用户并启动Elasticsearch

# 切换至用户 es

su es

# 启动 ElasticSearch （-d 表示在后台启动）

[es@localhost elasticsearch-7.8.0]$ ./bin/elasticsearch -d

一下错误是由于在root下启动ES

6、启动之后可能会报以下二个错误

[es@elk elasticsearch]$ ERROR: [2] bootstrap checks failed

[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

ERROR: Elasticsearch did not exit normally - check the logs at /opt/installs/elasticsearch/logs/elasticsearch.log

编辑 /etc/security/limits.conf
vi /etc/security/limits.conf,添加下面内容：
 

  • soft nofile 65536
  • hard nofile 131072
  • soft nproc 2048
  • hard nproc 4096

在/etc/sysctl.conf文件最后添加一行

vm.max_map_count=262144
执行sysctl -p 立即生效

修改elasticsearch.yml中的配置：

bootstrap.memory_lock: false

7、验证

访问：http://elk:9200

返回以下内容

{"name" : "node-1","cluster_name" : "elasticsearch","cluster_uuid" : "0O0vY-KPQAOe_0LYbRVHPg","version" : {"number" : "7.8.0","build_flavor" : "default","build_type" : "tar","build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65","build_date" : "2020-06-14T19:35:50.234439Z","build_snapshot" : false,"lucene_version" : "8.5.1","minimum_wire_compatibility_version" : "6.8.0","minimum_index_compatibility_version" : "6.0.0-beta1"},"tagline" : "You Know, for Search"
}

查看节点是否健康:

http://elk:9200/_cluster/health?pretty

{"cluster_name": "elasticsearch","status": "green", // 绿色表示健康"timed_out": false,"number_of_nodes": 1,"number_of_data_nodes": 1,"active_primary_shards": 0,"active_shards": 0,"relocating_shards": 0,"initializing_shards": 0,"unassigned_shards": 0,"delayed_unassigned_shards": 0,"number_of_pending_tasks": 0,"number_of_in_flight_fetch": 0,"task_max_waiting_in_queue_millis": 0,"active_shards_percent_as_number": 100
}

8、安装ES可视化管理工具ElasticView

ElasticView - ElasticView的部署

二、安装部署 Kibana

1、下载

wget https://mirrors.huaweicloud.com/kibana/7.8.0/kibana-7.8.0-linux-x86_64.tar.gz

2、解压并重命名

tar -zxvf kibana-7.8.0-linux-x86_64.tar.gz -C  /opt/installs/
mv /opt/installs/kibana-7.8.0-linux-x86_64.tar.gz  /opt/installs/kibana

3、修改配置文件

vim ./config/kibana.yml

# 服务端口 server.port: 5601

# 服务器ip 本机 server.host: "0.0.0.0"

# Elasticsearch 服务地址 elasticsearch.hosts: ["http://localhost:9200"]

# 设置语言为中文 i18n.locale: "zh-CN"

4、授权并切换用户

chown -R es  /opt/installs/kibana
su es

5、启动Kibana

注意：启动 Kibana 之前需要先启动 Elasticsearch

# 前台启动方式

./bin/kibana

# 后台启动方式

nohup ./bin/kibana &

6、在浏览器中访问Kibana

访问地址：http://elk:5601/

三、安装部署 Logstash

1、下载安装包

wget https://mirrors.huaweicloud.com/logstash/7.8.0/logstash-7.8.0.tar.gz

2、解压并重命名

tar -zxvf logstash-7.8.0.tar.gz -C /opt/installs/
mv /opt/installs/logstash-7.8.0  /opt/installs/logstash

3、复制一个新的配置文件并修改

cp config/logstash-sample.conf config/logstash-es.conf
vim config/logstash-es.conf
#输入 从控制台输入
input {stdin{}
}#过滤器 默认时区是UTC时区 差8个小时所以就加8小时
filter {date {match => ["timestamp","ISO8601"]target => "@timestamp"}ruby { code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)" }ruby {code => "event.set('@timestamp',event.get('timestamp'))"}mutate {remove_field => ["timestamp"]}
}#输出
output {#输出到elasticsearchelasticsearch {   #指定elasticsearch服务器的地址和端口,多个ES服务器使用 “逗号空格” 隔开hosts =>["elk:9200"]#指定输出到elasticsearch 的索引格式index =>"system-%{+YYYY.MM.dd}"}
}

4、安装插件

由于国内无法访问默认的gem source，需要将gem source改为国内的源。

vim /opt/installs/logstash/Gemfile

# 将source这一行改成如下所示：

source"RubyGems.org | your community gem host"

安装jdk并配置好环境变量

./bin/logstash-plugin install logstash-codec-json_lines

5、启动Logstash

# 创建Logstash软链接

ln -s /opt/installs/logstash/bin/logstash /usr/local/bin/

# 授权并切换用户

chown -R es  /opt/installs/logstash
su es

# 启动Logstash

logstash -f /opt/installs/logstash/config/logstash-es.conf

# 后台启动Logstash

nohup ./bin/logstash -f ./config/logstash-es.conf &

四、安装部署 Filebeat

1、下载安装包

wget https://mirrors.huaweicloud.com/filebeat/7.8.0/filebeat-7.8.0-linux-x86_64.tar.gz

2、解压并重命名

tar -zxvf lfilebeat-7.8.0-linux-x86_64.tar.gz -C /opt/installs/
mv /opt/installs/filebeat-7.8.0-linux-x86_64 /opt/installs/filebeat

3、创建软连接

ln -s /opt/installs/filebeat/filebeat /usr/local/bin/

4、赋权并切换es用户

chown -R es  /opt/installs/filebeat
chmod go-w ./filebeat.yml
su es

5、修改filebeat.yml配置文件

6、启动filebeat

filebeat -e -c /opt/installs/filebeat/filebeat.yml


http://www.ppmy.cn/server/146847.html

相关文章

Oracle 11gR2 Data Guard 搭建 （一主一从）

Oracle 11gR2 Data Guard 搭建 （一主一从）

一、环境规划 项目主库 Primary备库 Standby操作系统CentOS Linux 7.9.2009CentOS Linux 7.9.2009数据库版本11.2.0.411.2.0.4IP地址192.168.10.101192.168.10.102db_nameorclorclinstance_nameorclorcldb_unique_nameorcl_priorcl_sbytnsnameorcl_priorcl_sbyservice_names(服…
阅读更多...
neo4j如何存储关于liquidity structure的层次和关联结构

neo4j如何存储关于liquidity structure的层次和关联结构

在 Neo4j 中存储关于流动性结构（liquidity structure）的层次和关联结构非常适合，因为 Neo4j 是一个基于图的数据库，能够自然地建模和存储复杂的关系和层次结构。下面是如何在 Neo4j 中设计和实现这样的数据模型的详细步骤和示例。…
阅读更多...
[CTF/网络安全] 攻防世界 upload1 解题详析

[CTF/网络安全] 攻防世界 upload1 解题详析

[CTF/网络安全] 攻防世界 upload1 解题详析 考察文件上传&#xff0c;具体原理及姿势不再赘述。 姿势 在txt中写入一句话木马<?php eval($_POST[qiu]);?> 回显如下&#xff1a; 查看源代码&#xff1a; Array.prototype.contains function (obj) { var i this.…
阅读更多...
【从零开始的LeetCode-算法】263. 丑数

【从零开始的LeetCode-算法】263. 丑数

丑数 就是只包含质因数 2、3 和 5 的 正 整数。 给你一个整数 n &#xff0c;请你判断 n 是否为 丑数 。如果是&#xff0c;返回 true &#xff1b;否则&#xff0c;返回 false 。 示例 1&#xff1a; 输入&#xff1a;n 6 输出&#xff1a;true 解释&#xff1a;6 2 3 示…
阅读更多...
Javascript 图片懒加载

Javascript 图片懒加载

摘要 最近公司和第三方材料供应商对接开发了物资集采平台&#xff0c;其中有个功能需求需要展示数百张材料信息图片&#xff0c;有时页面会出现卡顿的情况&#xff0c;并使用了图片懒加载的方式进行了优化。下面把方法分享给大家一起学习。 未做优化实例 以下代码仅作为示例…
阅读更多...
【西瓜书】决策树

【西瓜书】决策树

决策树 决策树&#xff08;decision tree&#xff09;是一种常见的机器学习方法&#xff0c;也叫“判定树”。 根据上下文&#xff0c;决策树有时候是指学习方法&#xff0c;有时候是指学得的树。 决策树是根据树形结构来进行决策的&#xff0c;这与人类在面临决策问题时的处…
阅读更多...
matlab2024a安装

matlab2024a安装

1.开始安装 2.点击安装 3.选择安装密钥 4.接受条款 5.安装密钥 21471-07182-41807-00726-32378-34241-61866-60308-44209-03650-51035-48216-24734-36781-57695-35731-64525-44540-57877-31100-06573-50736-60034-42697-39512-63953 6 7.选择许可证文件 8.找许可证文件 9.选…
阅读更多...
springboot340“共享书角”图书借还管理系统(论文+源码)_kaic

springboot340“共享书角”图书借还管理系统(论文+源码)_kaic

摘 要 随着社会的发展&#xff0c;图书借还的管理形势越来越严峻。越来越多的借阅者利用互联网获得信息&#xff0c;但图书借还信息量大。为了方便借阅者更好的获得本图书借还信息&#xff0c;因此&#xff0c;设计一种安全高效的“共享书角”图书借还管理系统极为重要。 为…
阅读更多...
最新文章

Copyright @ 2022~2023