Apache Hadoop生态-目录汇总-持续更新

系统环境：centos7

Java环境：Java8

安装说明

Ganglia 由 gmond、gmetad 和 gweb 三部分组成。

gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用 gmond，你可以很容易收集很多系统指标数据，如 CPU、内存、磁盘、网络和活跃进程的数据等。

gmetad（Ganglia Meta Daemon）整合所有信息，并将其以 RRD 格式存储至磁盘的服务。

gweb（Ganglia Web）Ganglia 可视化工具，gweb 是一种利用浏览器显示 gmetad 所存储数据的 PHP 前端。在 Web 界面中以图表方式展现集群的运行状态下收集的多种不同指标数据。

1）安装 ganglia

（1）规划

worker213: web gmetad gmod
worker214: gmod
worker215: gmod

（2）所有服务器分别安装 epel-release

sudo yum -y install epel-release

（3）worker213安装

sudo yum -y install ganglia-gmetad ganglia-web ganglia-gmond

（4）在 worker214 和 worker215安装

sudo yum -y install ganglia-gmond

2）在 worker213 修改配置文件

# 1：ganglia.conf
sudo vim /etc/httpd/conf.d/ganglia.conf<Location /ganglia>
# Require local
#  允许所有设备访问
Require all granted   
# Require ip 10.1.2.3
# Require host example.org
</Location># 2
sudo vim /etc/ganglia/gmetad.conf
修改
data_source "my cluster" worker213# 3
sudo vim /etc/selinux/config
修改为：
SELINUX=disabled

worker213服务器执行：sudo setenforce 0

3）在所有服务器修改配置文件/etc/ganglia/gmond.conf

sudo vim /etc/ganglia/gmond.confudp_send_channel {# mcast_join = 239.2.11.71    --注释掉# 数据发送给 worker213host = worker213   -- 添加port = 8649                ttl = 1
}udp_recv_channel {# mcast_join = 239.2.11.71   --注释掉port = 8649# 接收来自任意连接的数据bind = 0.0.0.0      --修改retry_bind = true# buffer = 10485760
}

4）启动 ganglia

（1）在所有服务器上启动

sudo systemctl start gmond

（2）在 worker213 启动

sudo systemctl start httpd
sudo systemctl start gmetad
sudo systemctl start gmondsudo systemctl stop httpd
sudo systemctl stop gmetad
sudo systemctl stop gmond

5）打开网页浏览 ganglia 页面

http://worker213/ganglia

尖叫提示：如果完成以上操作依然出现权限不足错误，请修改/var/lib/ganglia 目录的权限：

worker213执行：
sudo chmod -R 777 /var/lib/ganglia

6）操作 Flume 测试监控

1）启动 Flume 任务

flume]$ bin/flume-ng agent \
-c conf/ \
-n a1 \
-f job/flume-netcat-logger.conf \
-Dflume.root.logger=INFO,console \-Dflume.monitoring.type=ganglia \
-Dflume.monitoring.hosts=worker213:8649

2）发送数据观察ganglia监控