flume数据流监控

news/2024/11/30 19:04:43/

Ganglia 的部署与安装

Ganglia 由 gmond、gmetad 和 gweb 三部分组成。

  • gmond:Ganglia 监听守护进程,负责收集本地节点的系统信息,并将其发送到 gmetad 或其他 gmond 节点。(每个节点安装)
  • gmetad:Ganglia 元数据守护进程,负责收集所有 gmond 节点发送的系统信息,并将其存储在 RRD 数据库中,以便后续查询和分析。(主节点安装即可)
  • gweb:Ganglia Web 界面,提供了一个基于 Web 的用户界面,用于查询和可视化系统信息。(PHP语言所写)

通过这三个组件的协作,Ganglia 可以实现对分布式系统的实时监控和分析,帮助用户快速发现和解决系统问题。

注意:

​ Ganglia 是由PHP语言所编写。而非JVM框架

1)规划

kk01kk02kk03
web、gmated、gmodgmodgmod

2)在所有节点安装epel-release

该操作是为了更新yum源

[nhk@kk01 flume]$ sudo yum -y install epel-release [nhk@kk02 flume]$ sudo yum -y install epel-release [nhk@kk03 flume]$ sudo yum -y install epel-release 

3)在kk01上安装

[nhk@kk01 flume]$ sudo yum -y install ganglia-gmetad[nhk@kk01 flume]$ sudo yum -y install ganglia-web[nhk@kk01 flume]$ sudo yum -y install ganglia-gmond

4)在kk02、kk03上安装

[nhk@kk02 flume]$ sudo yum -y install ganglia-gmond[nhk@kk03 flume]$ sudo yum -y install ganglia-gmond	

5)在kk01修改配置文件/etc/httpd/conf.d/ganglia.conf

[nhk@kk01 flume]$ sudo vim /etc/httpd/conf.d/ganglia.conf

参考修改内容如下

Alias /ganglia /usr/share/ganglia<Location /ganglia># Require local# Require ip 10.1.2.3# Require host example.orgRequeire all granted
</Location>

6)在kk01修改配置文件 /etc/ganglia/gmetad.conf

[nhk@kk01 flume]$ sudo vim /etc/ganglia/gmetad.conf

参考修改内容如下

data_source "kk01" kk01

7)在所有节点修改配置文件 /etc/ganglia/gmond.conf

[nhk@kk01 flume]$ sudo vim /etc/ganglia/gmond.conf

参考修改内容如下

cluster {name = "kk01"owner = "unspecified"latlong = "unspecified"url = "unspecified"
}# mcast_join = 239.2.11.71
# 数据发送给kk01
host = kk01
port = 8649
ttl = 1udp_recv_channel {mcast_join = 239.2.11.71port = 8649# 接收来自任意连接的数据bind = 0.0.0.0retry_bind = true# Size of the UDP buffer. If you are handling lots of metrics you really# should bump it up to e.g. 10MB or even higher.# buffer = 10485760
}

我们以kk01为例,kk02、kk03重复上述操作

8)在kk01修改配置文件 /etc/selinux/config

[nhk@kk01 flume]$ sudo vim /etc/selinux/config

参考配置如下

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

提示:selinux本次生效关闭必须重启,如果此时不想重启,可以使用如下命令临时生效

[nhk@kk01 flume]$ sudo setenforce 0

9)启动ganglia

在 kk01、kk02、kk03启动

[nhk@kk01 flume]$ sudo systemctl start gmond[nhk@kk02 flume]$ sudo systemctl start gmond[nhk@kk03 flume]$ sudo systemctl start gmond

在 kk01 启动

[nhk@kk01 flume]$ sudo systemctl start httpd[nhk@kk01 flume]$ sudo systemctl start gmetad

10)打开网页浏览 ganglia 页面

http://kk01/ganglia

提示:

​ 如果完成上述操作以后,依然出现权限不足错误,可以修改 /var/lib/ganglia 目录的权限

sudo chmod -R 777 /var/lib/ganglia

操作Flume 测试监控

1)启动flume任务

[nhk@kk01 flume]$ bin/flume-ng agent -n a1 -c conf/ -f job/nc-flume-log.conf -Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=kk01:8649

2)使用nc工具发送数据观察 ganglia 监控图

[nhk@kk01 ~]$ nc localhost 44444

http://www.ppmy.cn/news/535399.html

相关文章

网站服务器被攻击怎么办?找甜甜了解高防CDN,告诉您哪家防御效果极佳

在互联网飞速发展的时代&#xff0c;网站被攻击事件层出不穷&#xff0c;高防CDN&#xff0c;在不同的攻击类型上&#xff0c;部署了针对不同攻击的防御策略&#xff0c;以此保证网站的正常运行&#xff0c;同时通过智能化的网络系统将用户分配至最近的优质的节点上去接待访问的…

云服务器被ddos攻击了怎么办?甜甜来给您解答

随着互联网科技的发展&#xff0c;网络安全问题日益突出&#xff0c;企业服务器被攻击的事件也越来越频繁。为此快快推出的增值服务高防ip&#xff0c;有效解决了中小企业DDOS攻击问题&#xff0c;同时快快高防ip支持大流量按天付费模式&#xff0c;可按不同业务需求配置弹性防…

丹东dns服务器位置,丹东移动dns服务器地址

丹东移动dns服务器地址 内容精选 换一换 当您想在Internet上通过域名访问您的网站时&#xff0c;可以通过本操作将域名托管至华为云的云解析服务&#xff0c;并为域名添加解析记录。例如&#xff0c;搭建一个网站服务器&#xff0c;采用IPv4格式的弹性IP地址。如果想要实现通过…

企业防病毒服务器部署介绍

企业采用防病毒软件是服务器版的,可以对服务器和客户端操作系统进行防病毒保护,基于对病毒的防范,要求企业级防病毒软件可以定期更新病毒代码,监控系统进程,查杀病毒,将病毒扫描结果汇总出报告,从而确保企业IT环境的安全可靠。在实际的IT运维过程中,用户遇到多数病毒是…

Linux服务器安装杀毒软件ClamAV

1 ClamAV介绍 ClamAV是Linux操作系统一款免费的杀毒工具&#xff0c;通过命令执行病毒库升级、查找病毒和删除病毒。 官方参考文档&#xff1a;Installing - ClamAV Documentation 官方下载地址&#xff1a;https://www.clamav.net/downloads 2 安装ClamAV 在CentOS操作系…

无视CC,DDOS,国内服务器租用,屏蔽海外流量

往我们体验一款游戏或者访问一个网站时&#xff0c;都是看它的网络速度与稳定情况。如果打游戏出现网卡&#xff0c;闪退&#xff0c;或者访问网站时访问速度慢或者打不开网页&#xff0c;那么&#xff0c;我们肯定会选择直接退出&#xff0c;不会再访问第二次。但如果遇到有一…

Linux下安装开源杀毒软件ClamAV对服务器进行查杀

1、安装epel源&#xff0c;在命令行下执行yum install epel-release –y&#xff0c;如下图&#xff1a; 2、在安装了EPEL源后&#xff0c;运行下面的命令安装ClamAV&#xff0c;在命令行下执行yum install clamav-server clamav-data clamav-update clamav-filesystem clamav …

网站服务器需不需要装杀毒软件,服务器要不要装杀毒软件

方法/步骤1 一、为什么要装服务器杀毒软件&#xff1f; 装服务器杀毒软件主要是保护服务器安全&#xff0c;避免受到病毒的入侵以及影响。这个是主要的原因&#xff0c;另外一方面&#xff0c;服务器杀毒软件也可以做一些安全的策略&#xff0c;提高系统的安全稳定性。 二、市面…