TiDB亿级数据亚秒响应查询集群部署

news/2024/11/29 22:40:08/

目录

  • 1 集群部署
    • 1.1 环境要求
      • 1.1.1 操作系统建议配置
      • 1.1.2 服务器建议配置
    • 1.2 环境准备
    • 1.3 安装TiUP
      • 1.3.1 什么是TiUP
      • 1.3.2 安装TiUP组件
      • 1.3.3 配置TiUP环境
      • 1.3.4 检查TiUP 工具是否安装
      • 1.3.5 安装 cluster 组件
      • 1.3.6 升级cluster组件
    • 1.4 编辑部署文件
      • 1.4.1 常见的部署场景
      • 1.4.2 单机极简部署
    • 1.5 执行集群部署命令
      • 1.5.1 命令格式
      • 1.5.2 检查TiDB最新版本
      • 1.5.3 执行部署命令
      • 1.5.4 启动集群
      • 1.5.5 查看节点状态
  • 2. 测试TiDB集群
    • 2.1 Mysql连接集群
      • 2.1.1 安装MySql客户端
      • 2.1.2 第三方客户端访问Mysql
    • 2.2 访问Grafana监控
    • 2.3 访问Dashboard
    • 2.4 查看集群列表
    • 2.5 查看集群拓扑


1 集群部署

在这里插入图片描述

1.1 环境要求

1.1.1 操作系统建议配置

	TiDB 作为一款开源分布式 NewSQL 数据库,可以很好的部署和运行在 Intel 架构服务器环境、ARM 架构的服务器环境及主流虚拟化环境,并支持绝大多数的主流硬件网络。作为一款高性能数据库系统,TiDB 支持主流的 Linux 操作系统环境。
Linux 操作系统平台版本
Red Hat Enterprise Linux7.3 及以上
CentOS7.3 及以上
Oracle Enterprise Linux7.3 及以上
Ubuntu LTS16.04 及以上

1.1.2 服务器建议配置

	TiDB 支持部署和运行在 Intel x86-64 架构的 64 位通用硬件服务器平台或者 ARM 架构的硬件服务器平台。对于开发,测试,及生产环境的服务器硬件配置(不包含操作系统 OS 本身的占用)有以下要求和建议:

开发及测试环境

组件CPU内存本地存储网络实例数量(最低要求)
TiDB8 核+16 GB+无特殊要求千兆网卡1(可与 PD 同机器)
PD4 核+8 GB+SAS, 200 GB+千兆网卡1(可与 TiDB 同机器)
TiKV8 核+32 GB+SSD, 200 GB+千兆网卡3
TiFlash32 核+64 GB+SSD, 200 GB+千兆网卡1
TiCDC8 核+16 GB+SAS, 200 GB+千兆网卡1

生产环境

组件CPU内存硬盘类型网络实例数量(最低要求)
TiDB16 核+32 GB+SAS万兆网卡(2 块最佳)2
PD4核+8 GB+SSD万兆网卡(2 块最佳)3
TiKV16 核+32 GB+SSD万兆网卡(2 块最佳)3
TiFlash48 核+128 GB+1 or more SSDs万兆网卡(2 块最佳)2
TiCDC16 核+64 GB+SSD万兆网卡(2 块最佳)2
监控8 核+16 GB+SAS千兆网卡1

1.2 环境准备

准备一台部署主机,确保其软件满足需求:

  • 推荐安装 CentOS 7.3 及以上版本
  • Linux 操作系统开放外网访问,用于下载 TiDB 及相关软件安装包

最小规模的 TiDB 集群拓扑

实例个数IP配置
TiKV3192.168.10.30避免端口和目录冲突
TiDB1192.168.10.30默认端口 全局目录配置
PD1192.168.10.30默认端口 全局目录配置
TiFlash1192.168.10.30默认端口 全局目录配置
Monitoring & Grafana1192.168.10.30默认端口 全局目录配置

1.3 安装TiUP

1.3.1 什么是TiUP

	从 TiDB 4.0 版本开始,TiUP 作为新的工具,承担着包管理器的角色,管理着 TiDB 生态下众多的组件,如 TiDB、PD、TiKV 等。用户想要运行 TiDB 生态中任何组件时,只需要执行 TiUP 一行命令即可,相比以前,极大地降低了管理难度。

1.3.2 安装TiUP组件

使用普通用户登录中控机,以 tidb 用户为例,后续安装 TiUP 及集群管理操作均通过该用户完成

TiUP 安装过程十分简洁,无论是 Darwin 还是 Linux 操作系统,执行一行命令即可安装成功:

[root@linux30 ~]# curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh
	该命令将 TiUP 安装在 `$HOME/.tiup` 文件夹下,之后安装的组件以及组件运行产生的数据也会放在该文件夹下。同时,它还会自动将 `$HOME/.tiup/bin` 加入到 Shell Profile 文件的 PATH 环境变量中,这样你就可以直接使用 TiUP 了。

在这里插入图片描述

1.3.3 配置TiUP环境

重新声明全局环境变量

[root@linux30 tidb]# source /root/.bash_profile

1.3.4 检查TiUP 工具是否安装

[root@linux30 tidb]# which tiup
/root/.tiup/bin/tiup

1.3.5 安装 cluster 组件

[root@linux30 tidb]# tiup cluster

在这里插入图片描述

1.3.6 升级cluster组件

如果机器已经安装 TiUP cluster,需要更新软件版本

[root@linux30 tidb]# tiup update --self && tiup update cluster

预期输出 “Update successfully!” 字样。

在这里插入图片描述

1.4 编辑部署文件

请根据不同的集群拓扑,编辑 TiUP 所需的集群初始化配置文件。

1.4.1 常见的部署场景

最小拓扑架构

	最基本的集群拓扑,包括 tidb-server、tikv-server、pd-server,适合 OLTP 业务。

增加 TiFlash 拓扑架构

	包含最小拓扑的基础上,同时部署 TiFlash。TiFlash 是列式的存储引擎,已经逐步成为集群拓扑的标配。适合 Real-Time HTAP 业务。

增加 TiCDC 拓扑架构

	包含最小拓扑的基础上,同时部署 TiCDC。TiCDC 是 4.0 版本开始支持的 TiDB 增量数据同步工具,支持多种下游 (TiDB/MySQL/MQ)。相比于 TiDB Binlog,TiCDC 有延迟更低、天然高可用等优点。在部署完成后,需要启动 TiCDC,通过 `cdc cli` 创建同步任务。

增加 TiDB Binlog 拓扑架构

	包含最小拓扑的基础上,同时部署 TiDB Binlog。TiDB Binlog 是目前广泛使用的增量同步组件,可提供准实时备份和同步功能。

增加 TiSpark 拓扑架构

	包含最小拓扑的基础上,同时部署 TiSpark 组件。TiSpark 是 PingCAP 为解决用户复杂 OLAP 需求而推出的产品。TiUP cluster 组件对 TiSpark 的支持目前为实验性特性。

混合部署拓扑架构

	适用于单台机器,混合部署多个实例的情况,也包括单机多实例,需要额外增加目录、端口、资源配比、label 等配置。

1.4.2 单机极简部署

部署主机软件和环境要求:

  • 部署需要使用部署主机的 root 用户及密码
  • 部署主机关闭防火墙或者开放 TiDB 集群的节点间所需端口

单机极简拓扑

实例IP开放端口
grafana192.168.10.303000
pd192.168.10.302379/2380
prometheus192.168.10.309090
tidb192.168.10.304000/10080
tiflash192.168.10.309000/8123/3930/20170/20292/8234
tikv192.168.10.3020160/20180
tikv192.168.10.3020161/20181
tikv192.168.10.3020162/20182

编辑配置文件

按下面的配置模板,编辑配置文件,命名为 topo.yaml

  • user: "tidb":表示通过 tidb 系统用户(部署会自动创建)来做集群的内部管理,默认使用 22 端口通过 ssh 登录目标机器
  • replication.enable-placement-rules:设置这个 PD 参数来确保 TiFlash 正常运行
  • host:设置为本部署主机的 IP
# # Global variables are applied to all deployments and used as the default value of
# # the deployments if a specific deployment value is missing.
global:user: "tidb"ssh_port: 22deploy_dir: "/opt/tidb/tidb-deploy"data_dir: "/opt/tidb/tidb-data"# # Monitored variables are applied to all the machines.
monitored:node_exporter_port: 9100blackbox_exporter_port: 9115server_configs:tidb:log.slow-threshold: 300tikv:readpool.storage.use-unified-pool: falsereadpool.coprocessor.use-unified-pool: truepd:replication.enable-placement-rules: truereplication.location-labels: ["host"]tiflash:logger.level: "info"pd_servers:- host: 192.168.10.30tidb_servers:- host: 192.168.10.30tikv_servers:- host: 192.168.10.30port: 20160status_port: 20180config:server.labels: { host: "logic-host-1" }- host: 192.168.10.30port: 20161status_port: 20181config:server.labels: { host: "logic-host-2" }- host: 192.168.10.30port: 20162status_port: 20182config:server.labels: { host: "logic-host-3" }tiflash_servers:- host: 192.168.10.30monitoring_servers:- host: 192.168.10.30grafana_servers:- host: 192.168.10.30

1.5 执行集群部署命令

1.5.1 命令格式

tiup cluster deploy <cluster-name> <tidb-version> ./topo.yaml --user root -p

参数解释

  • 参数 <cluster-name> 表示设置集群名称
  • 参数 <tidb-version> 表示设置集群版本,可以通过 tiup list tidb 命令来查看当前支持部署的 TiDB 版本
  • 参数:--use.r root通过 root 用户登录到目标主机完成集群部署,该用户需要有 ssh 到目标机器的权限,并且在目标机器有 sudo 权限。也可以用其他有 ssh 和 sudo 权限的用户完成部署。

1.5.2 检查TiDB最新版本

可以通过执行 tiup list tidb 来查看 TiUP 支持的版本

[root@linux30 tidb]# tiup list tidb

经过执行发现 可用的TiDB版本有 v5.3.0

1.5.3 执行部署命令

[root@linux30 tidb]# tiup cluster deploy tidb-cluster 5.3.0 ./topo.yaml --user root -p

下面输入y继续后输入密码进行安装界面

在这里插入图片描述

进入安装界面,等待安装即可

在这里插入图片描述

如果出现deployed successfully表示部署成功,集群名称是tidb-cluster

1.5.4 启动集群

[root@linux30 tidb]# tiup cluster start tidb-cluster

在这里插入图片描述

1.5.5 查看节点状态

[root@linux30 tidb]# tiup cluster display tidb-cluster

所有节点都是Up状态说明都已经启动就绪了

在这里插入图片描述

2. 测试TiDB集群

2.1 Mysql连接集群

TiDB的连接端口默认是4000, 密码是空,可用使用Mysql客户端以及第三方工具进行连接

2.1.1 安装MySql客户端

yum -y install mysql

MySql客户端连接

访问 TiDB 数据库,密码为空

[root@linux30 tidb]# mysql -uroot -p -P 4000 -h 192.168.10.30

在这里插入图片描述

2.1.2 第三方客户端访问Mysql

使用SQLyog访问TiDB

2.1.2.1 创建TiDB连接

在这里插入图片描述

连接后就可以操作数据库了

在这里插入图片描述

2.2 访问Grafana监控

通过 http://192.168.10.30:3000 访问集群 Grafana 监控页面,默认用户名和密码均为 admin。

在这里插入图片描述

2.3 访问Dashboard

通过 http://192.168.10.30:2379/dashboard 访问集群 TiDB Dashboard监控页面,默认用户名为 root,密码为空。

在这里插入图片描述

2.4 查看集群列表


[root@linux30 tidb]# tiup cluster list

在这里插入图片描述

2.5 查看集群拓扑


[root@linux30 tidb]# tiup cluster display tidb-cluster

在这里插入图片描述


http://www.ppmy.cn/news/310445.html

相关文章

Prometheus插件安装(mysql_exporter)

简介 mysql_exporter是用来收集MysQL或者Mariadb数据库相关指标的&#xff0c;mysql_exporter需要连接到数据库并有相关权限。既可以用二进制安装部署&#xff0c;也可以通过容器形式部署&#xff0c;但为了数据收集的准确性&#xff0c;推荐二进制安装。 一&#xff0c;下载安…

单容水箱建模(自衡单容水箱+无自衡单容水箱)

自衡单容水箱Simulink建模和PLC源代码请参看下面文章链接: 单容双容水箱建模(simulink仿真+PLC代码)_RXXW_Dor的博客-CSDN博客PLC通过伯努利方程近似计算水箱流量详细内容请参看下面的文章博客PLC通过伯努利方程近似计算水箱流量(FC)_怎么用伯努利方程求某水位流量_RXXW_Dor的…

Android 和 iOS 漏洞加剧移动安全的威胁

漏洞面临消亡 Adobe 公司在 2005 年收购 Flash&#xff0c;并大力推广应用使其一度是漏洞挖掘人员的研究焦点&#xff0c;根据图 3.4 的历史数据可以看到&#xff0c;2015 和 2016 年爆出的漏洞总数占据整体数量的 55.09%。在 Hacking Team 泄 露 CVE-2015-5122 和 CVE-2015-5…

漏洞发展趋势安全堪忧的设备

漏洞面临消亡 Adobe 公司在 2005 年收购 Flash&#xff0c;并大力推广应用使其一度是漏洞挖掘人员的研究焦点&#xff0c;根据图 3.4 的历史数据可以看到&#xff0c;2015 和 2016 年爆出的漏洞总数占据整体数量的 55.09%。在 Hacking Team 泄 露 CVE-2015-5122 和 CVE-2015-5…

ANDROID历年漏洞数量

漏洞面临消亡 Adobe 公司在 2005 年收购 Flash&#xff0c;并大力推广应用使其一度是漏洞挖掘人员的研究焦点&#xff0c;根据图 3.4 的历史数据可以看到&#xff0c;2015 和 2016 年爆出的漏洞总数占据整体数量的 55.09%。在 Hacking Team 泄 露 CVE-2015-5122 和 CVE-2015-5…

各大网站M8评测集结

本站浏览&#xff1a; 魅族力挺TD M8后继机型M9将支持TD-SCDMA 强劲视频播放 魅族M8外挂DVD字幕教程 网友对M8视频极其详细的评测 魅族M8独家评测 魅族M8首发拆机评测 魅族M8第三方应用软件测试 苦等一年终来到 魅族M8真机完全解析 大屏智能较量 Touch HD屏幕对决魅…

手机被偷 5555

上海不夜城最新报价 IPAD wifi 16G 4700.00 IPAD wifi 32G 5200.00 IPAD wifi 64G 5660.00 IPAD 3G 16G 5630.00 IPAD 3G 32G 6250.00 IPAD 3G 64G 6730.00 IPAD 键盘 720.00 IPAD 原皮套 430.00 16G&#xff08;4代&#xff09;美版 6030.00 16G&#xff08;4代&#xff09;无…

完整的浏览器统计信息-2012年9月

tr, td { padding: 0 !important; } td img {max-height: 15px !important; }我认为与您分享2012年9月期间用于查看该网站的每个浏览器的统计信息会很有趣。 那里有些有趣的东西。 请记住&#xff0c;这些仅是jquery4u.com的统计信息&#xff0c;而不是整个Web的统计信息。 同…