15天学习MySQL计划分库分表-监控-第十四天

1.介绍

1.问题分析

请添加图片描述

随着互联网及移动互联网的发展，应用系统的数据量也是成指数式增加，若采用但数据进行数据存储，存在以下性能瓶颈：

IO瓶颈：热点数据太多，数据库缓存不足，产生大量磁盘IO，效率较低。请求数据太多，带宽不够，网络IO瓶颈。
CPU瓶颈：排序，分组，连接查询，聚合统计等SQL会耗费大量的CPU资源，请求数太多，CPU出现瓶颈。

分库分表的中心思想都是将数据分散存储，使得单一数据库/表的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的。

2.拆分策略

请添加图片描述

1.垂直拆分

请添加图片描述

2.水平拆分

请添加图片描述

3.实现技术

请添加图片描述

shardingJDBC：基于AOP原理，在应用程序中对本地执行的SQL进行拦截，解析，改写，路由处理。需要自行编码配置实现，只支持java语句，性能较高。
MyCat：数据库分库分表中间件，不用调整代码即可实现分库分表，支持多种语言，性能不及前者。

2.mycat概述

1.简介

MyCat是开源的，活跃的，基于Java语言编写的MySQL数据库中间件。可以像使用MySQL一样使用mycat，对于开发老根本感觉不到mycat的存在。

优势：

性能可靠稳定
强大的技术团队
体系完善
社区活跃

2.安装

mycat是采用Java语言开发的开源数据库中间件，支持windows和Linux运行环境，下面介绍mycat的Linux中的环境搭建。我们需要在准备好的服务器中安装如下软件。

MySQL
JDL
mycat

准备JDK二进制tar包
解压
设置环境变量
java -version 测试
准备MyCat包
解压
将lib下的jar包进行替换与当前JDK相同的版本

3.mycat概念

请添加图片描述

3.mycat入门

由于tb_order表中的数据量很大，磁盘IO及容量都达到了瓶颈，现在需要对tb_order表进行数据分片，分为三个数据节点，每一个节点主机位于不同的服务器上，具体的结构，参考下图：

请添加图片描述

1.部署环境

请添加图片描述

2.配置过程

在三个数据库创建三个相同的库名
创建一个用户
修改scheam配置文件
修改server文件
启动mycat文件
连接mycat服务
测试分表

3.分片数据库配置（scheam.xml）

请添加图片描述

[root@localhost bin]# vi /usr/local/mycat/conf/schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/"><schema name="DB01" checkSQLschema="true" sqlMaxLimit="100"><table name="TB_ORDER" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" /></schema><dataNode name="dn1" dataHost="dhost1" database="test" /><dataNode name="dn2" dataHost="dhost2" database="test" /><dataNode name="dn3" dataHost="dhost3" database="test" /><dataHost name="dhost1" maxCon="1000" minCon="10" balance="0"writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100"><heartbeat>select user()</heartbeat><writeHost host="master" url="jdbc:mysql://192.168.2.1:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="1234.Com" /></dataHost><dataHost name="dhost2" maxCon="1000" minCon="10" balance="0"writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100"><heartbeat>select user()</heartbeat><writeHost host="master" url="jdbc:mysql://192.168.2.2:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="1234.Com" /></dataHost><dataHost name="dhost3" maxCon="1000" minCon="10" balance="0"writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100"><heartbeat>select user()</heartbeat><writeHost host="master" url="jdbc:mysql://192.168.2.3:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="1234.Com" /></dataHost>
</mycat:schema>

4.分片用户配置（server.xml）

配置mycat的用户及用户的权限信息

请添加图片描述

[root@localhost bin]# vi /usr/local/mycat/conf/server.xml
<user name="root" defaultAccount="true"><property name="password">123456</property><property name="schemas">DB01</property></user>

5.连接mycat测试

[root@localhost ~]# mysql -h192.168.2.1 -P8066 -uroot -p
mysql> use DB01;
mysql> CREATE TABLE TB_ORDER (id BIGINT(20) NOT NULL,title VARCHAR(100) NOT NULL ,PRIMARY KEY (id)
) ENGINE=INNODB DEFAULT CHARSET=utf8 ;INSERT INTO TB_ORDER(id,title) VALUES(1,'goods1');
INSERT INTO TB_ORDER(id,title) VALUES(2,'goods2');
INSERT INTO TB_ORDER(id,title) VALUES(3,'goods3');
INSERT INTO TB_ORDER(id,title) VALUES(5000000,'goods5000000');
INSERT INTO TB_ORDER(id,title) VALUES(10000000,'goods10000000');
INSERT INTO TB_ORDER(id,title) VALUES(10000001,'goods10000001');
INSERT INTO TB_ORDER(id,title) VALUES(15000000,'goods15000000');
INSERT INTO TB_ORDER(id,title) VALUES(15000001,'goods15000001');

4.mycat配置

1.schema.xml

schema.xml作为mycat中最重要的配置文件之一，涵盖了mycat的逻辑库，逻辑表，分片规则，分片某节点及数据源的配置。

主要包含以下三组标签

schema标签
datanode标签
datahost标签

1.shcema标签

请添加图片描述

schema标签用于定义mycat实例中的逻辑库，一个mycat实例中，可以有多个逻辑库，可以通过scheam标签来进行划分。Mycat中的逻辑库的概念，等同于MySQL中的database概念，需要操作一个逻辑库下的表时，也需要切换逻辑库（use）

核心属性：

name：指定自定义的逻辑库库名
checkSQLschema：在SQL语句操作时指定了数据库名称，执行时是否自动去除；true：自动去除，false：不自动去除
sqlMaxlimit：如果未指定limit进行查询，列表查询模式查询多少条记录

2.schema标签（table）

请添加图片描述

table标签定义了mycat中逻辑schema下的逻辑表，所有需要拆分的表都需要在table标签中定义。

核心属性：

name：定义逻辑表表名，在该逻辑库下唯一
dataNode：定义逻辑表所属的dataNode，该属性需要与dataNode标签中name对应；多个datanode逗号分割
rule：分片规则的名字，分片规则名字是在rule.xml中定义的
primaryKey：逻辑表对应真实表的主键
type：逻辑表的类型，目前逻辑表只有全局表和普通表，如果未配置，就是普通表；全局表，配置为global

3.datanode标签

请添加图片描述

datanode标签中定义了mycat中的数据节点，也就是我们通常说的数据分片。一个datanode标签就是一个独立的数据分片。

核心属性：

name：定义数据节点名称
datahost：数据实例主机名称，引用自datahost标签中name属性
database：定义分片所属数据库

4.datahost标签

请添加图片描述

该标签在mycat逻辑库中作为底层标签存在，直接定义了具体的数据库实例，读写分离，心跳语句。

核心属性：

name：唯一标识，供上层标签使用
maxCon/minCon：最大连接数/最小连接数
balance：负载均衡策略，取值0，1，2，3
writetype：写操作分发方式（0：写操作转发到第一个writehost，第一个挂了就切换到第二个；1：写操作随机分发到配置的writehost上）
dbdriver：数据库驱动，支持native，jdbc

2.rule.xml

rule.xml中定义所有拆分表的规则，在使用过程中可以灵活的使用分片算法，或者对同一个分片算法使用不同的参数，它让分片过程可配置化。主要包含两类标签：tableTule，Function。

请添加图片描述

3.server.xml

server.xml配置文件包含了mycat的系统配置信息，主要有两个重要的标签：system，user、

1.system标签

对应的系统配置项及其含义，参考资料

请添加图片描述

2.user标签

请添加图片描述

priviege权限设置字段：	dml='0000'=增 改 查 删
	0为关闭，1为开启

5.mycat分片

1.垂直分表

场景：

在业务系统中，涉及以下表结构，但是由于用户与订单每天都会产生大量的数据，单台服务器的数据存储及处理能力是有限的，可以对数据库进行拆分，原有的数据库表如下。

请添加图片描述

流程：

分别在三台MySQL中创建数据库（shopping）
修改schema.xml
修改server.xml
测试：创建表，插入数据

schema.xml内容：

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/"><schema name="SHOPPING" checkSQLschema="true" sqlMaxLimit="100"><table name="tb_goods_base" dataNode="dn1" primaryKey="id"/><table name="tb_goods_brand" dataNode="dn1" primaryKey="id"/><table name="tb_goods_cat" dataNode="dn1" primaryKey="id"/><table name="tb_goods_desc" dataNode="dn1" primaryKey="goods_id"/><table name="tb_goods_item" dataNode="dn1" primaryKey="id"/><table name="tb_order_item" dataNode="dn1,dn2,dn3" primaryKey="id" type="global"/><table name="tb_order_master" dataNode="dn1,dn2,dn3" primaryKey="order_id" type="global"/><table name="tb_order_pay_log" dataNode="dn2" primaryKey="out_trade_no"/><table name="tb_user" dataNode="dn3" primaryKey="id"/><table name="tb_user_address" dataNode="dn3" primaryKey="id"/><table name="tb_areas_provinces" dataNode="dn3" primaryKey="id"/><table name="tb_areas_city" dataNode="dn3" primaryKey="id"/><table name="tb_areas_region" dataNode="dn3" primaryKey="id"/></schema><dataNode name="dn1" dataHost="dhost1" database="shopping" /><dataNode name="dn2" dataHost="dhost2" database="shopping" /><dataNode name="dn3" dataHost="dhost3" database="shopping" /><dataHost name="dhost1" maxCon="1000" minCon="10" balance="0"writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100"><heartbeat>select user()</heartbeat><writeHost host="master" url="jdbc:mysql://192.168.2.1:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="1234.Com" /></dataHost><dataHost name="dhost2" maxCon="1000" minCon="10" balance="0"writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100"><heartbeat>select user()</heartbeat><writeHost host="master" url="jdbc:mysql://192.168.2.2:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="1234.Com" /></dataHost><dataHost name="dhost3" maxCon="1000" minCon="10" balance="0"writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100"><heartbeat>select user()</heartbeat><writeHost host="master" url="jdbc:mysql://192.168.2.3:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="1234.Com" /></dataHost>
</mycat:schema>

server.xml内容

<user name="root" defaultAccount="true"><property name="password">123456</property><property name="schemas">SHOPPING</property>
</user>

2.水平分表

在业务系统中，有一张（日志表），业务系统每天都会产生大量的日志数据，单台服务器的数据存储及处理能力是有限的，可以对数据库表进行拆分。

对tb_log表进行拆分

请添加图片描述

1.schema.xml配置

<schema name="ITCAST" checkSQLschema="true" sqlMaxLimit="100"><table name="tb_log" dataNode="dn4,dn5,dn6" primaryKey="id" rule="mod-long"/>
</schema><dataNode name="dn4" dataHost="dhost1" database="itcast" /><dataNode name="dn5" dataHost="dhost2" database="itcast" /><dataNode name="dn6" dataHost="dhost3" database="itcast" />

2.server.xml的配置

<user name="root" defaultAccount="true"><property name="password">123456</property><property name="schemas">SHOPPING,ITCAST</property>
</user>

6.分片规则

1.范围分片

根据指定的字段及其配置的范围与数据节点的对应情况，来决定该数据属于哪一个分片

请添加图片描述

自定义分片范围

请添加图片描述

2.取模分片

根据指定的字段值与节点数量进行求模运算，根据运算结构，来决定该数据属于哪个分片。

请添加图片描述

取模分片配置

请添加图片描述

3.一致性hash

所谓一致性哈希，相同的哈希因子计算值总是被划分到相同的分区表中，不会因为分区节点的增加而改变原来的数据的分区位置。

一致性hash配置

请添加图片描述

通过在配置文件中配置可能的枚举值，指定数据分布到不同数据节点上，本规则适用于按照省份，性别，状态拆分数据等业务。

枚举分片配置

请添加图片描述

5.应用指定算法

运行阶段由应用自主决定路由到那个分片，直接根据字符字串（必须是数字）计算分片

应用指定算法配置

请添加图片描述

6.固定hash算法

该算法类似于十进制的求模运算，但是为二进制操作，例如，取id的二进制低10位与11111111111进行位&运算。

请添加图片描述

固定hash算法配置

请添加图片描述

7.字符串hash解析

截取字符串中的指定位置的子字符串，进行hash算法，算出存储分片位置。

请添加图片描述

8.按天分片

按天来进行分片

请添加图片描述

9.按自然月分片

使用场景为按照月份来分片，每个自然月为一个分片

请添加图片描述

7.mycat管理与监控

1.mycat原理

请添加图片描述

2.mycat管理

mycat默认开通2个端口，可以在server.xml中进行修改

8066数据访问端口，即进行DML和DDL操作
9066数据库管理端口，即mycat服务管理控制功能，用于管理mycat的整个集群状态

mysql -h 192.168.2.1 -P 9066 -uroot -p123455

常用命令：

命令	含义
show @@help	查看mycat管理工具帮助文档
show @@version	查看mycat的版本
reload @@config	重载加载mycat的配置文件
show @@datasource	查看mycat的数据源信息
show @@datanode	查看mycat现有的分片系节点信息
show @@threadpool	查看mycat的线程池信息
show @@sql	查看执行的SQL
show @@sql.sum	查看执行的SQL统计

8.mycat-eye

1.介绍

mycat-web（mycat-eye）是对mycat-server提供监控服务，功能不局限于对mycat-server使用。他通过JDBC连接mycat，mysql监控，监控远程服务器（目前仅限于Linux系统）的cpu，内存，网络，磁盘。

mycat-eye运行过程中需要zookeeper，因此需要先安装zookeeper。

zookeeper安装
mycat-web安装
web访问http://192.168.2.1:8082/mycat

2.添加设备测试即可

9.总结

1.分库分表介绍

核心：将单台数据库服务器器的数据分散（垂直拆分，水平拆分）存储在多台数据库中

2.mycat概述

mycat是一个开源的分库分表的中间件

3.mycat入门

入门程序

4.mycat配置

schema.xml，rule.xml，server.xml

5.mycat分片

分片规则：范围，取模，枚举，一致性hash，固定分片hash算法，字符串hash解析算法，按天分片，按自然月分片

6.mycat管理及监控

提供监控服务，功能不局限于对mycat-server使用。他通过JDBC连接mycat，mysql监控，监控远程服务器（目前仅限于Linux系统）的cpu，内存，网络，磁盘。

mycat-eye运行过程中需要zookeeper，因此需要先安装zookeeper。

zookeeper安装
mycat-web安装
web访问http://192.168.2.1:8082/mycat

2.添加设备测试即可

9.总结

1.分库分表介绍

核心：将单台数据库服务器器的数据分散（垂直拆分，水平拆分）存储在多台数据库中

2.mycat概述

mycat是一个开源的分库分表的中间件

3.mycat入门

入门程序

4.mycat配置

schema.xml，rule.xml，server.xml

5.mycat分片

分片规则：范围，取模，枚举，一致性hash，固定分片hash算法，字符串hash解析算法，按天分片，按自然月分片

6.mycat管理及监控

原理，管理，监控工具

15天学习MySQL计划（运维篇）分库分表-监控-第十四天

15天学习MySQL计划分库分表-监控-第十四天

1.介绍

1.问题分析

2.拆分策略

1.垂直拆分

2.水平拆分

3.实现技术

2.mycat概述

1.简介

2.安装

3.mycat概念

3.mycat入门

1.部署环境

2.配置过程

3.分片数据库配置（scheam.xml）

4.分片用户配置（server.xml）

5.连接mycat测试

4.mycat配置

1.schema.xml

1.shcema标签

2.schema标签（table）

3.datanode标签

4.datahost标签

2.rule.xml

3.server.xml

1.system标签

2.user标签

5.mycat分片

1.垂直分表

2.水平分表

1.schema.xml配置

2.server.xml的配置

6.分片规则

1.范围分片

2.取模分片

3.一致性hash

5.应用指定算法

6.固定hash算法

7.字符串hash解析

8.按天分片

9.按自然月分片

7.mycat管理与监控

1.mycat原理

2.mycat管理

8.mycat-eye

1.介绍

2.添加设备测试即可

9.总结

1.分库分表介绍

2.mycat概述

3.mycat入门

4.mycat配置

5.mycat分片

6.mycat管理及监控

2.添加设备测试即可

9.总结

1.分库分表介绍

2.mycat概述

3.mycat入门

4.mycat配置

5.mycat分片

6.mycat管理及监控

相关文章