大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试

server/2024/10/22 6:05:34/

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(已更完)
  • HDFS(已更完)
  • MapReduce(已更完)
  • Hive(已更完)
  • Flume(已更完)
  • Sqoop(已更完)
  • Zookeeper(已更完)
  • HBase(已更完)
  • Redis (已更完)
  • Kafka(已更完)
  • Spark(已更完)
  • Flink(已更完)
  • ClickHouse(已更完)
  • Kudu(已更完)
  • Druid(已更完)
  • Kylin(已更完)
  • Elasticsearch(正在更新…)

章节内容

上节我们完成了如下的内容:

  • Elasticsearch 集群模式
  • 集群模式配置 启动 测试

在这里插入图片描述

ES-Head插件

为了我们测试和学习的方便,我们要安装一个叫:Elasticsearch Head插件。
它是一个界面化的集群操作和管理工具,可以对集群进行傻瓜式操作,你可以通过把插件把它集成到ES。

ES-Head主要是三个方面的操作:

  • 显示集群的拓扑,能够快速访问并显示集群的状态,并且能够执行索引和节点级别的操作。
  • 搜索接口能够查询集群中原始JSON或表格格式的检索数据
  • 有一个输入窗口,允许任意调用RESTAPI

ES-Head 是一个用于 Elasticsearch 集群管理的开源可视化插件,帮助用户监控和管理集群状态、索引及数据分布。ES-Head 是轻量级的,界面简洁直观,适合开发者和运维人员实时观察集群运行状况。

官方地址

这是一个开源的插件:

https://github.com/mobz/elasticsearch-head

功能特点

集群健康监控

  • 显示集群的健康状态(green、yellow、red)。
  • 显示所有节点信息,包括主节点、副本节点状态。

索引管理

  • 支持索引的查看、创建、删除、关闭和打开操作。
  • 查看每个索引的元信息(例如文档数量、段数量、占用存储等)。
  • 可以直接从界面更新索引的mapping和settings。

数据节点监控

  • 显示每个节点的状态,包括已分配分片和未分配分片。
  • 展示节点的硬件资源信息,如存储空间使用情况。

分片管理

  • 可视化显示分片的分配情况。
  • 支持查看未分配分片的原因,并手动重新分配分片。

RESTful 查询执行

  • 提供查询编辑器,可以在插件中直接发送 RESTful 请求到集群。
  • 支持 GET、POST、PUT、DELETE 等请求方法,帮助调试和验证 API。

索引分布可视化

  • 提供分片在集群中的分布图,便于检查数据分布和副本均衡情况。

多集群支持

  • 可以在一个界面管理多个集群,支持跨集群查看索引状态。

安装步骤

Elasticsearch-head是一个基于Node.js的前端工程,官方有可以运行的Elasticsearch-Head的方式,但是这里我们为了方便,就不从部署的方式去做了,直接用Chrome插件的方式:

https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmecolpfloofpjologoblkegm/

安装之后,可以看到一个这样的插件:
在这里插入图片描述

测试连接

我们填写地址之后,访问(里边本来空的,后来为了测试,启动了Kibana之后,测试的这个):
在这里插入图片描述

使用场景

  • 开发和调试:开发者可以在插件界面直接发送 REST 请求,查看索引结构和数据。
  • 实时监控集群健康:管理员可以通过插件快速发现集群中的问题(如未分配的分片、节点挂掉等)。
  • 资源均衡优化:可视化查看分片分布,帮助进行负载均衡。

注意事项

  • 由于 ES-Head 插件不需要登录认证,一旦对外开放接口,可能会存在安全风险。在生产环境中使用时,应通过 VPN 或防火墙限制访问权限。
  • 在大规模集群中,数据过多可能会导致界面响应缓慢。

Kibana

官方地址

https://www.elastic.co/cn/support/matrix#matrix_os

Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具,可以利用Elasticsearch的聚合功能,生成各种图标,如柱形图、线状图、饼图等。
而且还提供了操作Elasticsearch索引数据的控制台,并且提供了一定的API提示,非常有利于我们学习Elasticsearch的语法。
在这里插入图片描述

核心功能

仪表盘(Dashboard)

  • 将多个可视化图表集成到一个页面,形成实时动态的仪表盘。
  • 支持图表拖拽、缩放和联动更新,方便数据展示。

数据探索(Discover)

  • 提供灵活的搜索查询界面,可以按时间、字段和过滤条件进行数据检索。
  • 支持使用 KQL(Kibana Query Language) 和 Lucene 语法 查询数据。

可视化(Visualizations)

  • 支持创建多种类型的可视化图表,如柱状图、折线图、饼图、地图、热力图等。
  • 可以将查询结果以图形方式展示,帮助更好地理解数据。

日志分析(Logs)

  • 针对日志数据优化,支持快速查询和实时日志流分析。
  • 适合用于系统运维、错误排查和日志监控。

监控(Monitoring)

  • 可监控 Elasticsearch 集群和 Kibana 自身的运行状态,如集群健康状况、节点性能等。
  • 可以帮助发现 Elasticsearch 集群中的瓶颈和问题。

安全性(Security)

  • 支持用户认证和授权控制,与 Elasticsearch 的 X-Pack 安全插件集成。
  • 可以基于角色和用户设置访问权限,确保数据安全。

告警(Alerting)

  • 支持创建告警规则,基于查询结果触发事件(如错误日志或异常情况)。
  • 可以将告警发送到电子邮件、Slack 或 Webhook。

机器学习(Machine Learning)

  • 通过内置的机器学习功能,可以自动检测数据中的异常模式和趋势。
  • 应用于日志分析、指标监控和预测分析。

Canvas

  • 用于创建自定义的交互式报告和演示。
  • 可以自定义图表样式和背景,适合数据驱动的商业演示。

Geo 可视化(Maps)

  • 提供基于地理信息的可视化展示,支持 GeoJSON 数据。
  • 用于展示与地理位置相关的数据,如用户分布、销售区域等。

安装步骤

(注意:我们要在ROOT用户下进行操作!)
我们现在项目并且上传(直接在服务器上下载也可以),上传到 h121 服务器上。
对应的截图内容如下:
在这里插入图片描述

解压配置

cd /opt/software
ls
tar -zxvf kibana-7.3.0-linux-x86_64.tar.gz
mv kibana-7.3.0-linux-x86_64 ../servers

对应的截图如下图所示:
在这里插入图片描述
改变Kibana目录拥有者账号:

chown -R es_server /opt/servers/kibana-7.3.0-linux-x86_64

此外,还需要设置访问权限:

chmod -R 777 /opt/servers/kibana-7.3.0-linux-x86_64

配置文件

修改配置文件:

vim /opt/servers/kibana-7.3.0-linux-x86_64/config/kibana.yml

在当中修改端口号等信息:

server.port: 5601
elasticsearch.hosts: ["http://h121.wzk.icu:9200"]
server.host: "0.0.0.0"
server.publicBaseUrl: "http://h122.wzk.icu:5601"

修改内容部分如下图所示:
在这里插入图片描述

启动服务

配置完成之后,我们切换用户进行启动:

su es_server
cd /opt/servers/kibana-7.3.0-linux-x86_64
bin/kibana

对应的截图如下:
在这里插入图片描述

访问服务

http://h122.wzk.icu:5601/

网页的页面如下:
(不一定有账号密码,高版本有要求,低版本直接进入就好)
在这里插入图片描述
账号密码是 elastic 和 elastic的密码(之前postman测试的那个)
在这里插入图片描述
我们点击右侧的:DevTool按钮,就可以进入 Kibana 提供的可视化工具了:
在这里插入图片描述
可以测试一下这些命令,发现是没问题的,以后的命令可以在这里测了:
在这里插入图片描述

使用场景

日志与系统监控

  • 通过 Logstash 将日志文件发送到 Elasticsearch,使用 Kibana 实时监控系统日志和应用程序日志。

业务数据分析

  • 在业务系统中,通过 Kibana 监控销售数据、客户数据等,支持企业决策。

异常检测与告警

  • 使用 Kibana 监控系统性能或业务关键指标,当检测到异常时触发告警。

用户行为分析

  • 监控网站或应用的用户行为,分析用户访问路径和流失率。

http://www.ppmy.cn/server/133814.html

相关文章

1.IDEA开发之子模块无法继承父模块的依赖

目录 1.1 出现的问题 1.2 父模块的Pom.xml配置文件 1.3 子模块的Pom.xml配置文件 1.4 思考:究竟哪里出现了问题? 1.1 出现的问题 在开发Spring引入数据库外部配置文件,发现我开发的父模块Spring以及子模块spring6-ioc-xml出现了无法…

毕业设计选题:基于Hadoop的热点新闻分析系统的设计与实现

开发语言:Python框架:djangoPython版本:python3.7.7数据库:mysql 5.7数据库工具:Navicat11开发软件:PyCharm 系统展示 管理员登录 管理员功能界面 用户管理 新闻类型管理 主题标签管理 热点新闻管理 新闻…

集合框架15:Map接口概述、Map集合使用

视频链接:13.34 Map接口使用_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1zD4y1Q7Fw?spm_id_from333.788.videopod.episodes&vd_sourceb5775c3a4ea16a5306db9c7c1c1486b5&p34 1.Map接口概述 特点:存储一对数据(Key-Value&…

基于MATLAB的战术手势识别功能的设计与实现

基于MATLAB的战术手势识别功能的设计与实现 1 选题背景与研究意义 武警部队作为国家重要武装力量,履行着国家赋予的神圣使命,在执行解救人质、捕歼暴恐分子等任务时,确保良好的通信联络是分队行动中通信保障的重点。低劣的通信质量在实战中…

2024年10月21日计算机网络,乌蒙第一部分

【互联网数据传输原理 |OSI七层网络参考模型】 https://www.bilibili.com/video/BV1EU4y1v7ju/?share_sourcecopy_web&vd_source476fcb3b552dae37b7e82015a682a972 mac地址相当于是名字,ip地址相当于是住址,端口相当于是发送的东西拿什…

CTFHUB技能树之SQL——报错注入

开启靶场,打开链接: 输入1: 没有回显出相关信息,初步判断是报错注入、时间盲注或布尔盲注 输入1: 显示出1和报错信息,说明没有闭合情况,是报错注入且是整数型注入 输入: 1 and upd…

GTP4聊天记录中letax保存为word

​ 别的不说,GPT4用来看代码很是很爽的,可以让他直接恢复出函数中的数学公式,有的时候为了做笔记,GPT4回复的答案,复制出来使markdown、letax等格式,为了更好的记笔记,可以使用下面的工具将复制…

快速理解http的get和post

在网络通信中,HTTP 协议扮演着非常重要的角色,而不同的 HTTP 方法决定了客户端与服务器之间的交互方式。 这里讲一下最常用的两种方法——GET 和 POST。 一、GET 方法 GET 方法用于从服务器获取资源。 这就像去图书馆借书——你向图书馆请求一本特定的…