Ambari安装大数据集群

news/2024/11/23 22:57:21/

Ambari安装大数据集群

本文是基于CentOS 7.3系统环境，学习和使用大数据集群：

  • CentOS-7.3-x86_64-DVD-1611.iso
  • ambari-2.6.0.0-centos7.tar.gz
  • HDP-2.6.3.0-centos7-rpm.tar.gz
  • HDP-UTILS-1.1.0.21-centos7.tar.gz

一、集群配置

（1）集群列表

大数据集群由5台虚拟服务器组成，4核，6G内存，100G硬盘，集群信息列表如下

hostnameCPU内存硬盘IP地址
master4核6G100G192.168.0.201
slave014核6G100G192.168.0.202
slave024核6G100G192.168.0.203
slave034核6G100G192.168.0.204
slave044核6G100G192.168.0.205

（2）集群配置IP地址

  • 登录每一台服务器，并进入IP地址配置目录
cd /etc/sysconfig/network-scripts/
  • 使用vi命令，编辑网络配置文件ifcfg-eth0
vi ifcfg-eth0
  • 修改IP地址
    在这里插入图片描述
  • 重启网络服务
systemctl restart network

（2）集群配置hostname

1. 修改主节点

登录主节点服务器（192.168.0.201），并使用hostnamectl命令修改hostname

hostnamectl --static set-hostname master

2. 修改从节点1

登录从节点1服务器（192.168.0.202），并使用hostnamectl命令修改hostname

hostnamectl --static set-hostname slave01

3. 修改从节点2

登录从节点2服务器（192.168.0.203），并使用hostnamectl命令修改hostname

hostnamectl --static set-hostname slave02

4. 修改从节点3

登录从节点3服务器（192.168.0.204），并使用hostnamectl命令修改hostname

hostnamectl --static set-hostname slave03

5. 修改从节点4

登录从节点4服务器（192.168.0.205），并使用hostnamectl命令修改hostname

hostnamectl --static set-hostname slave04

6. 重启所有的机器

shutdown -r now

7. 修改hosts配置文件

  • 使用vi命令，编辑配置文件hosts
vi /etc/hosts

编辑内容如下：
在这里插入图片描述

8. 测试所有机器的连通性

  • 使用ping命令，测试连通性
ping master
ping slave01
ping slave02
ping slave03
ping slave04

（3）配置免密登录

登录所有服务器，并执行以下命令，然后一路Enter

ssh-keygen -t rsa

登录slave01节点，将id_rsa.pub文件拷贝到master节点，执行以下命令

scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub-slave01

登录slave02节点，将id_rsa.pub文件拷贝到master节点，执行以下命令

scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub-slave02

登录slave03节点，将id_rsa.pub文件拷贝到master节点，执行以下命令

scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub-slave03

登录slave04节点，将id_rsa.pub文件拷贝到master节点，执行以下命令

scp /root/.ssh/id_rsa.pub master:/root/.ssh/id_rsa.pub-slave04

登录master节点，将id_rsa.pub文件追加到authorized_keys，并将所有从节点发来的公钥也追加到authorized_keys，执行以下命令

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub-slave01 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub-slave02 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub-slave03 >> /root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub-slave04 >> /root/.ssh/authorized_keys

在master节点，修改authorized_keys文件的权限，执行以下命令

chmod 600 /root/.ssh/authorized_keys

master节点将authorized_keys文件分发至所有的从节点，执行以下命令

scp /root/.ssh/authorized_keys slave01:/root/.ssh/
scp /root/.ssh/authorized_keys slave02:/root/.ssh/
scp /root/.ssh/authorized_keys slave03:/root/.ssh/
scp /root/.ssh/authorized_keys slave04:/root/.ssh/

（4）软件环境配置

1. JDK1.8安装

详细的安装教程参考Linux下安装java编程环境

2. 安装createrepo用于制作yum源仓库

以下是为了安装createrepo，而提前安装的依赖包，这些依赖包可以在CentOS-7.3-x86_64-DVD-1611.iso/Packages里面找到：

libxml2-python-2.9.1-6.el7_2.3.x86_64.rpm
deltarpm-3.6-3.el7.x86_64.rpm
python-deltarpm-3.6-3.el7.x86_64.rpm
createrepo-0.9.9-28.el7.noarch.rpm

3. 安装httpd用于提供web服务

以下是为了安装httpd，而提前安装的依赖包，这些依赖包可以在CentOS-7.3-x86_64-DVD-1611.iso/Packages里面找到：

apr-util-1.5.2-6.el7.x86_64.rpm
Apr-1.4.8-3.el7_4.1.x86_64.rpm
mailcap-2.1.41-2.el7.noarch.rpm
httpd-tools-2.4.6-88.el7.centos.x86_64.rpm
httpd-2.4.6-88.el7.centos.x86_64.rpm

修改配置文件

cd /etc/httpd/conf/
vi httpd.conf
添加一行 ServerName localhost:80

修改防火墙，开放80端口

firewall-cmd --add-service=http --permanent
firewall-cmd --add-port=80/tcp --permanent
firewall-cmd --reload

启用httpd服务

systemctl enable httpd.service
systemctl start httpd.service

重启服务器，并测试httpd服务，在浏览器访问192.168.0.201，如果成功访问，就说明httpd启用成功

4. 安装yum源

1.登录master节点，进入/var/www/html目录，新建centos7目录，将CentOS-7.3-x86_64-DVD-1611.iso中的Packages目录，拷贝到centos7目录中。
2.建立yum索引

createrepo /var/www/html/centos7/Packages

3.备份原始yum源配置文件

cd /etc/yum.repo.d
mdkir bak
mv *.repo ./bak

4.新建yum源配置文件

vi CentOS-Self，内容如下：
[self]
name=CentOS-Self
baseurl=http://192.168.0.201/centos7/Packages
gpgcheck=0
enabled=1

5.清除yum源缓存

yum clean all

6.验证yum源是否生效

yum list

7.其他节点配置

scp /etc/yum.repo.d/CentOS-Self.repo slave01:/etc/yum.repo.d

将所有的非 CentOS-Self.repo放入bak目录

yum clean all
yum list

5. 安装ntp，并配置时间同步

  1. 所有节点下载ntp
yum install ntp
  1. 服务端配置/etc/ntp.conf
    在这里插入图片描述
  2. 弃用chronyd服务
systemclt disable chronyd
  1. 启用并开启ntpd服务
systemclt enable ntpd
systemclt start ntpd
  1. 客户端配置crontab
crontab –e  #  进入crontab进行编辑
* */1 * * * /usr/sbin/ntpdate master   # 与vi类似，按i进行编辑，wq保存退出
  1. 配置crontab开机自启动
systemclt enable crond

http://www.ppmy.cn/news/696711.html

相关文章

java8-lamdba

java8-lamdba

文章目录 目标基础概念lamdba 表达式双冒号 :: 关键字Lambda的范围 一些函数式接口的简单介绍PredicateFunctionSupplierConsumerToIntFunction 目标 了解lamdba 表达式 参考 java 简明教程文档 深入理解Java双冒号(::)运算符的使用 Java8新特性2：方法引用–深入理解…
阅读更多...
Masa Blazor in Blazor Day

Masa Blazor in Blazor Day

2022年第一场Blazor中文社区的开发者分享活动，我们的团队也全程参与其中，在议程中，也分享了我们团队的Blazor 管理后台模板，针对于Blazor，先科普一波，避免有些朋友不了解，Blazor是微软推出的基于…
阅读更多...
lambda入门

lambda入门

什么是Lambda表达式？ 在java的学习过程中，你是否见过如下图这样的代码： 初看时你可能不求甚解，但如果你有一定的java基础，你应该可以看出这段代码做了什么。首先，这段代码声明了一个接口对象，然…
阅读更多...
MariaDB 版本

MariaDB 版本

MariaDB 数据库管理系统是 MySQL 的一个分支，主要由开源社区在维护，采用GPL授权许可。 GitHub 产生 在Oracle控制下的MySQL开发，有两个主要问题：1. MySQL核心开发团队是封闭的，完全没有Oracle之外的成员参加。很多高…
阅读更多...
BALM: Bundle Adjustment for Lidar Mapping

BALM: Bundle Adjustment for Lidar Mapping

文章目录 代价函数，雅可比矩阵和海森矩阵自适应栅格化基于BA优化的LOAM 根据点在直线或平面上的约束，构建扫面间的特征匹配，基于此使用BA算法来进一步优化LOAM等视觉里程计得到的位姿。采用了非常巧妙的方式计算直线法向量相较于位姿变化的导…
阅读更多...
DAMA-DMBOK 数据治理功能框架

DAMA-DMBOK 数据治理功能框架

1、DAMA知识领域车轮图 2、DAMA-DMBOK 功能框架标识出了11 个主要的数据管理知识领域 数据治理（Data Governance）通过建立一个能够满足企业数据需求的决策体系，为数据管理提供指导和监督数据架构（Data Architecture）定…
阅读更多...
Mariadb数据库

Mariadb数据库

Mariadb基础 关系模型： 二维关系：表 行：row, entry 列：column, attribution 索引：数据结构，辅助完成数据查找的； SQL代码： 存储过程 存储函数 触发器 事件调度器 事务(Transac…
阅读更多...
AWS Lambda的简介与使用

AWS Lambda的简介与使用

Lambda的简介 AWS Lambda 是一项计算服务，可使您无需预配置或管理服务器即可运行代码。AWS Lambda 只在需要时执行您的代码并自动缩放，从每天几个请求到每秒数千个请求。您只需按消耗的计算时间付费 – 代码未运行时不产生费用。借助 AWS Lambda&#x…
阅读更多...
最新文章

Copyright @ 2022~2023