部署
自动部署
自动部署为管理平台在界面中支持自动化安装部署计算节点集群的功能。目前管理平台从V2.5.0及以后拥有“集群部署”、“单机部署”两个自动化安装功能。“集群部署”适合从0开始一次性部署整套计算节点集群的场景,“单机部署”适合再已部署好的集群上新增个别集群组件的场景。
集群部署
集群部署每次部署任务是以一套集群为单位进行,一次部署最少需要包含:计算节点、配置库、keepalived(主备节点模式需要安装),其他组件:存储节点、LVS(多节点模式)、NTPD可根据需要安装。支持“单节点、主备节点、多节点”不同集群模式的安装。安装完的集群自动根据配置搭建好高可用、自动启动。
功能使用须知
由于ntp首次时间同步的时效存在不确定性,建议在部署前对被所有部署服务器先手动同步下时间。
- 超过2EB的硬盘可能会出现计算错误;
- 不支持一台服务器上安装多个计算节点或多个管理平台或多个备份程序;
- 建议添加干净的操作系统环境服务器;
- 服务器的SSH信息须使用root权限的用户进行配置;
- 添加的服务器要求已配置可用的yum源或安装脚本目录下有对应操作系统版本的iso镜像文件;
- 安装部署包名称默认以auto_hhdbinstall开头,请不要随意更改服务器下部署包名称;
- 程序默认上传部署包存放路径为/usr/local/hhdb;
- 存储节点默认安装以自动部署auto包内自带版本为准,如需要安装其他版本,自行在自动部署auto包内替换相关安装包即可;
- 管理平台在部署集群前需确认在管理平台服务器以下任一目录中存在集群安装部署包资源。集群部署时会在以下目录寻找资源包上传至目标服务器/usr/local/hhdb路径下。(查找优先级按以下为准)
/opt
/opt/hhdb
/usr/local
/usr/local/hhdb
- 一键部署安装包下载过程中可能存在一些损坏,此时进行部署可能导致部署出错。支持了完整性校验功能,对上传的安装包进行MD5值校验。即在上传部署安装包时,需同步上传当前安装包对应的MD5值文件至服务器相同目录下,如下图:
- 集群部署过程中可能会出现各种异常,通过重试入口,对部署过程中出现异常的环节可进行重试
部署管理平台
1.将部署安装包和对应MD5值文件上传至服务器,并解压到指定目录
mkdir /usr/local/hhdb
tar -zxvf auto_hhdbinstall_HHDB14.*.tar.gz -C /usr/local/hhdb/
2.执行安装脚本安装管理平台
cd /usr/local/hhdb/Install_Package/
sh hhdbinstall_v*.sh --ntpdate-server-ip=182.92.12.11 --mysql-version=5.7 --hotdb-config-port=3316 --hotdb-version=2.5.7 --install-hotdb-server-management=yes
3.查看安装日志获取安装进度
tail -f /usr/local/hhdb/Install_Package/hotdbinstall.log
4.日志打印如下标记则为安装成功正常结束
[INFO] hotdbinstall finished without error, but you should check if there is any warnings
5.启动管理平台
sh /usr/local/hhdb/hhdb-management/bin/hotdb_management start
6.浏览器打开管理平台
启动成功后 打开浏览器输入:http://服务器的IP地址:3324/page/index.html成功打开页面后登录账号到管理员界面。(管理员用户名密码默认为 admin|DRDS_management@2013)
部署在线帮助文档
在线帮助文档的部署非必须项,用户可根据自己需要来选择是否需要部署在线帮助文档。
1.浏览器打开管理平台
打开浏览器输入管理平台访问地址:http://<管理平台服务器的IP地址>:3324/page/index.html
2.部署在帮助文档
登陆管理平台后,单击右上角的“帮助中心”->“帮助文档”,根据指示即可完成在线文档的部署和访问。
集群部署功能说明
说明
本次以“多节点”模式的集群部署为例,展示集群部署中的完整过程以及对应说明。
添加集群部署任务
admin用户登录管理平台后进入“集群管理->计算节点集群”,点击【集群部署】按钮进入集群部署功能页面。集群部署页面会提供初始化参数的缺省配置值用于参考。
选择部署的集群模式
集群分为单节点、主备节点、多节点三种模式,选择好集群模式后点击【参数配置】按钮进入集群部署参数配置页面。
集群模式说明:
-
单节点:单节点指整个集群中只有一个计算节点的集群模式。无需安装Keepalived或LVS等高可用组件。
-
主备节点:主备模式也称HA模式,即通过Keepalived组件进行高可用搭建的集群模式。在集群中存在主、备两个计算节点。
-
主备节点模式的集群,需要填写2台服务器的配置信息。
-
Keepalived的virtual_ipaddress(简称VIP)要求为没有被服务器或其他应用所占用且和计算节点服务器在相同网段上。格式为VIP+子网掩码长度,例:192.168.200.120/24。
-
virtual_router_id的值可自行在范围【1-255】选定一个值,但该值要求在集群使用的网段内是唯一的,即不与其他应用服务选择的值冲突。
-
主备Keepalived服务器网关设备名称是Keepalived所在服务器的网卡设备名称,该名称必须填写正确,格式为网卡名称+ :1 例:eth0:1。(网关设备名称可通过ip a命令查看)
-
-
多节点:多节点模式也叫作负载均衡模式,是通过LVS组件或其他负载均衡组件来控制分发业务流量到集群中的多个计算节点上的一种架构模式。多节点模式中计算节点个数不能低于3个或超过7个。
-
多节点模式中,计算节点个数默认为3个,且计算节点版本必须为2.5。
-
集群网段为计算节点安装服务器所在网段,格式为:网段+子网掩码长度,例:192.168.200.0/24。
-
通信端口为集群内各计算节点进行通信时所用端口,默认为3326.无特殊要求时不建议修改。
-
LVS是多节点模式中实现负载均衡的组件,也可以关闭【安装】选择其他负载均衡方式代替LVS。
-
LVS_vip为LVS组件中所配置的虚拟IP地址(简称VIP),要求必须为没有被服务器或其他应用所占用且和计算节点服务器在相同网段上。格式为VIP+子网掩码长度,例:192.168.200.120/24。
-
virtual_router_id的值可自行在范围【1-255】选定一个值,但该值要求在集群使用的网段内是唯一的,即不与其他应用服务选择的值冲突。
-
lvs_net_interface_name是LVS组件所在服务器的网卡名称,该名称必须填写正确,格式为网卡名称+ :2 例:eth0:2。(网关设备名称可通过ip a命令查看)。
-
所有的IP地址均支持IPv6格式。
-
集群部署参数配置
计算节点参数
以下将以计算节点集群模式为多节点为例介绍计算节点的参数配置。
-
计算节点个数默认为3,设置时不能小于3或大于7个。
-
集群名称会自动生成,格式为:Group+四位随机数,可根据实际情况修改。
-
集群网段为计算节点所在服务器的网段范围,格式为:网段+子网掩码长度,例:192.168.200.0/24。
-
通信端口为集群内各计算节点进行通信时所用端口,默认为3326,无特殊要求不建议修改。
-
计算节点名称会自动生成,格式为:计算节点+编号,可根据实际情况修改。
-
登录方式为管理平台连接部署目标服务器的方式,默认使用“密码”方式登录,如果使用“免密”方式则要求管理平台服务器与目标部署服务器之间需要打通免密通道,具体实现方式可参照“实现免密登录说明”。
-
当“登录方式”为“密码”方式时需要输入连接目标服务器的SSH信息包括:SSH用户、SSH密码。端口号默认为22,无特殊要求一般无需修改。
-
堆内存默认为4G,当设置大于8G时,会提示要求开启“G1垃圾回收器”。该参数输入范围【1-64】G。
-
直接内存默认为24G,参数输入范围【1-64】G。
-
服务端口与管理端口默认为3323,3325,无特殊要求可直接使用默认值。若修改且安装成功后计算节点的server.xml配置文件对应参数也会同步修改。
-
点击【测试连接】可测试目标服务器的连接是否正常,判断输入的SSH信息是否可用。
配置库参数
-
安装的计算节点配置库实例可选择模式有:单库、双主、MGR;安装平台配置库实例仅可选择:从库、双主备库。版本号可选“5.7、8.0”,默认8.0。
-
选择MGR模式时可编辑MGR模式下的实例数量,默认3个,编辑时不能少于3个或大于9个。选择其他模式则无数量限制。
-
创建高权限用户开关,开关默认打开即配置库实例安装成功后会默认生成一个“hotdb_root”的账户,该账户拥有实例的所有权限。
-
实例端口号默认为3306,可根据实际情况自行修改。
-
“磁盘设备名称”与“数据目录”参数为选填项,为空时程序会自动为“磁盘设备名称”赋予空值,“数据目录”赋予默认值“/data”。关于参数详细说明,可参照“集群部署脚本参数说明”。
-
【更多参数】可为当前部署的实例设置更多选项参数,当参数的输入框为空时安装脚本会自行计算处理并给予默认值,无特殊要求时不建议修改。若需要使修改的参数适用到其他部署的配置库实例上可勾选“更多参数同步到其他配置库实例中”选项。
SQL审计日志参数
-
SQL审计日志库为可选部署选项,默认关闭。
-
SQL审计日志库实例,主要用于SQL审计日志分析时其日志存储所用,可根据业务需要进行部署。若当前不进行部署,后续也可以在SQL审计日志页面进行配置。
-
“创建高权限用户”请参照配置库该处说明。
-
实例库类型仅支持“单库”,版本号默认8.0。默认端口:3317,其他可填写的实例部署选项同配置库部署时的选项一致。
-
SQL审计日志库的IP+PORT不允许与管理平台管理的所有集群实例对象以及当前部署任务所涉及的实例冲突。
LVS参数
-
集群部署支持不安装LVS相关组件,当选择到不安装时,则不需要填写LVS配置参数
-
LVS_vip填写的IP,要求必须为没有被服务器或其他应用所占用的且和计算节点服务器在相同网段上。格式为VIP+子网掩码长度,例:192.168.200.120/24
-
virtual_router_id的值可自行在范围【1-255】选定一个值,但该值必须在集群使用的网段内是唯一的,即没有与其他服务程序选取的值冲突。
-
主备lvs_net_interface_name是LVS所在服务器的网关设备名称,该名称必须与实际服务器上显示的一致(可通过 ip a命令查看),格式为:网关设备名称+ “:2” 例如:eth0:2。
存储节点参数
-
存储节点的版本可选择“5.7、8.0”,默认为8.0。
-
节点个数为集群中的数据节点个数,设置时不能超过128。
-
节点类型为数据节点下关联的存储节点复制关系类型包含:单库、主从、双主、MGR。
-
点击【生成】按钮可快速按照选填写的参数生成存储节点配置信息。
-
“创建高权限用户”请参照配置库该处说明。
-
“物理库跟随逻辑库进行创建”表示数据节点关联到实例级别,所有的逻辑库会在所在的数据节点上创建同名的物理库,不勾选需要手动创建物理库,数据节点将关联到物理库级别,该选项默认打开。
-
“CPU隔离”选项,开启后各存储节点实例将单独占用各自的核心资源,互相不影响,部署时会将服务器上的CPU核心预留2个给系统使用,剩余核心平均分配给每个实例。该选项默认打开,部署完成后CPU隔离配置可在管理-服务管理-服务配置页面进行修改。
-
“节点名称”为数据节点名称,默认根据“节点个数”自动生成,用户可自行修改。
-
“存储节点类型”默认根据选择的“节点类型”进行生成。例:“节点类型”为“主从”,则在每个数据节点下分别生成一个“主库”、一个“从库”类型的存储节点记录。
-
“安装监听程序”开关默认打开,即在存储节点所在服务器上安装HHDB Listener组件。安装监听程序可用于解决计算节点集群模式的性能线性扩展问题。若用户暂不使用监听程序,可手动关闭。
-
“监听端口”即监听程序启动端口,默认值为3330,可手动修改。一个存储节点服务器上部署一个监听程序需要配置一个未被占用的端口作监听端口。一个存储节点服务器下仅支持通过集群部署部署一个监听程序,即同一个主机名只能对应配置同一个监听端口。若关闭“安装监听程序”,会联级置灰“监听端口”,不可编辑。
-
“监听程序服务端口”即计算节点通过监听程序连接存储节点的端口,默认值为4001,若一个监听程序需要监听多个存储节点,则需要为其分别填写不同的服务端口。若关闭“安装监听程序”,会联级置灰“监听程序服务端口”,不可编辑。
-
“安装备份程序”开关默认打开,即在存储节点所在服务器上安装HHDB Backup备份程序。
-
“关联管理平台IP”,默认填充当前执行集群部署任务的管理平台地址。该地址为备份程序启动时需要指定所服务的管理平台地址。
-
点击操作中的“增加”、“删除”可新增或去除一行存储节点配置记录。
-
存储节点数量过多时可考虑使用“导入”方式进行配置。导入前须先下载模板,再按照模板说明进行填写配置信息,完成后再导入管理平台中。若填写有误时,程序会显示导入失败与失败详细信息。
时间同步参数设置
-
时间同步主要是为集群所有服务器指定NTP时间服务地址,保证集群中的服务器时间保持一致。
-
默认在主计算节点或多节点中的第一个计算节点所在服务器上安装NTP服务程序。若集群中已有可用的NTP服务,则可取消安装。
-
集群中其他服务器时间同步地址默认指向已安装有NTP服务器的计算节点服务器地址,若计算节点不安装NTP服务器则其他服务器与计算节点服务器所指向的时间同步地址保持一致。
Tips:
在实际应用场景中,除了软件方面的时钟同步配置以外,还需要关注硬件时钟是否同步,可使用hwclock查看(一般在虚拟机环境中存在差异的可能性较大)。
参数校验并保存
-
仅保存:点击【仅保存】按钮,程序不会验证配置参数输入的合法性和完整性,仅校验必填项是否已填写。
-
检查并保存:点击【检查并保存】按钮,程序会校验配置参数的合法性和完整性,并推送一键部署安装包和对应的MD5值文件到目标服务器上以验证是否符合集群部署的要求,不符合要求时会弹窗提示。开始部署前的集群都必须通过【检查并保存】才能进入安装环节。
注意
若安装包在下载或推送过程中发生了损坏、变更,在“检查并保存”时会检测到安装包当前的MD5值和原对应的MD5值不一致,会弹窗提示“一键部署包完整性校验失败,请人工介入”,如下图:
-
若集群配置参数检测未通过,需要根据报错情况进行相应的修改,然后再进行校验。
-
如果因为服务器硬件配置不满足要求导致未通过检测的,建议先将配置参数通过【仅保存】按钮先保存下来,然后根据提示调整目标服务器的硬件配置或更换目标服务器,然后再进行校验。
-
已保存但未开始安装的集群在“集群管理”页面显示时是未开启监控的,且集群部署信息各栏信息显示“已配置”字样。
-
已保存但未开始安装的集群,通过“部署拓扑”按钮进入后,显示如上图所示。虚线图标代表已配置好但未开始安装的组件。
开始部署
1.点击【开始部署】进入安装进程
-
若未通过校验的集群点击【开始部署】则提示不允许进入部署
-
通过“检查并保存”的集群,若在【开始部署】时计算节点集群中任一服务器上的安装包发生了损坏,即检测到安装包当前的MD5值和原MD5值不一致,也会弹窗提示:
-
任一步骤操作发生异常,总控会提供重试入口:
- 进入重试入口重新执行当前步骤:
注意
1、重试入口仅在部署总控页显示,各分控页若存在出错步骤,只显示当前步骤执行失败的具体情况;
2、总控流程每一个步骤执行时,均需等到上一个步骤对应的所有分控服务器执行成功才能执行下一步;
3、部署任务没有最终结束前,均可以从计算节点集群组页面部署拓扑查看部署信息,且进行重试操作;
2.通过部署进度条查看当前部署状态。
3.部署日志会实时输出到控制台中,总控制台可查看所有服务器部署完成情况。具体每台服务器控制台可单独查看对应服务器部署时的脚本执行日志信息。
4.可点击右上角放大按钮,全屏查看。
5.安装完成后可在总控制台中看到“集群部署成功”字样。
部署完成
1.部署成功的集群在“集群管理”页面中会自动开启监控,“集群部署信息”各栏显示各组件的运行状态信息。
2.点击【部署拓扑】按钮进入部署拓扑图页面可查看到拓扑图中的图标都变成实线。
实例密码修改
已部署完成的集群安装的配置库与存储节点实例都会自动生成一些账户。具体如下:配置库实例生成 hotdb_config、dbbackup、repl、hotdb_root(视是否开启创建高权限账户开关而定);存储节点实例生成***hotdb_datasource、dbbackup、repl、hotdb_root(***视是否开启创建高权限账户而定)。
部署完成后可以进行实例密码修改,以提升集群的安全性。
1.实例密码修改分为:配置库实例密码修改、存储节点实例密码修改两部分。
2.可通过点击操作栏中【密码修改】按钮进行单个用户密码修改,也可以通过【一键修改密码】按钮批量修改用户密码。
3.批量修改用户密码是按照用户角色进行划分显示,例如配置库实例中对repl账户修改密码,则配置库所有实例中的repl账户密码都同步修改。存储节点也如此。
4.对于具有复制关系的实例,修改用户的密码会将与其有复制关系的实例的用密码一同修改,例如具有MGR关系的存储节点实例(192.168.210.81:3311,192.168.210.82:3311,192.168.210.83:3311),修改192.168.210.81:3311实例上的hotdb_root用户密码为admin,程序会将另外两个实例的hotdb_root用户修改为admin。
5.提交密码修改后实例密码修改页面会进行页面加载,此时请勿刷新页面或进行其他操作。