记Flink SQL 将数据写入 MySQL时的一个优化策略

news/2024/10/5 11:51:32/

Flink SQL 将数据写入 MySQL 时,如果主分片数较少,可以通过调整 MySQL 的主分片数来提高读写性能

1. 检查当前的分片设置

在 MySQL 中,使用以下 SQL 查询来查看当前的分片情况:

SHOW VARIABLES LIKE 'innodb_buffer_pool_size';
SHOW TABLE STATUS LIKE 'your_table_name';

2. 调整 MySQL 主分片数

如果使用的是 MySQL 的分区表,考虑增加分区数。
可以使用以下 SQL 命令:

ALTER TABLE your_table_name
PARTITION BY HASH(column_name) PARTITIONS new_partition_count;

确保选择合适的列进行分区,以便均匀分布数据。

3.调整 Flink SQL 作业的并发度

在 Flink SQL 中,通过设置并行度来增加作业的并发写入:

SET parallelism.default = new_parallelism;

这将允许 Flink 在写入 MySQL 时使用更多的并发连接。

new_parallelism 为一个具体的整数值,例如:SET parallelism.default = 6;  -- 将并行度设置为6
可以根据集群资源和需求来调整这个值。

4.使用批量插入

使用批量插入来提高写入性能。可以通过设置 sink 的批量大小来实现:

INSERT INTO your_table_name
SELECT * FROM your_source_table
OPTION (batch.size = desired_batch_size);

5. 优化 MySQL 配置

确保 MySQL 的配置参数(如 innodb_flush_log_at_trx_commit、innodb_log_file_size 等)适合高并发写入场景。
调整 max_connections 和 max_allowed_packet 等参数,以支持更多的并发连接和更大的数据包。


后期有其他方法在进行补充。


http://www.ppmy.cn/news/1533532.html

相关文章

Master PDF Editor 下载及详细安装教程

具体安装方式如下: 下载: MasterPDFEditor 先解压,将解压后的如下文件发送到桌面快捷方式 启动发送后桌面图标 选择要打开的pdf文档,可以看到打开速度是超级快,正常使用,操作简单方便

Spring MVC__入门

目录 一、SpringMVC简介1、什么是MVC2、什么是SpringMVC 二、Spring MVC实现原理2.1核心组件2.2工作流程 三、helloworld1、开发环境2、创建maven工程3、配置web.xml4、创建请求控制器5、创建springMVC的配置文件6、测试HelloWorld7、总结 一、SpringMVC简介 1、什么是MVC MV…

网络安全中的 EDR 是什么:概述和功能

专业知识:EDR、XDR、NDR 和 MDR_xdr edr ndr-CSDN博客 端点检测和响应 (EDR) 是一种先进的安全系统,用于检测、调查和解决端点上的网络攻击。它可以检查事件、检查行为并将系统恢复到攻击前的状态。EDR 使用人工智能、机器学习和威胁情报来避免再次发生攻…

<<迷雾>> 第5章 从逻辑学到逻辑电路(5)--异或门 示例电路

!ABA!B 的逻辑电路组成 info::操作说明 鼠标单击开关切换开合状态 注: 这个实际就是 异或门, 当两个输入相异时输出高电平, 否则输出低电平 primary::在线交互操作链接 https://cc.xiaogd.net/?startCircuitLinkhttps://book.xiaogd.net/cyjsjdmw-examples/assets/circuit/cyj…

Python的异步编程

什么是协程? 协程不是计算机系统提供,程序员人为创造。 协程也可以被称为微线程,是一种用户态内的上下文切换技术。简而言之,其实就是通过一个线程实现代码块相互切换执行。 实现协程有那么几种方法: greenlet&…

云RDS MySQL迁移至本地MySQL

本地准备工作 1.安装:percona-xtrabackup 上传percona-xtrabackup-2.3.9-Linux-x86_64.tar.gz包到/usr/local tar -zxvf percona-xtrabackup-2.3.9-Linux-x86_64.tar.gz mv percona-xtrabackup-2.3.9-Linux-x86_64 percona-xtrabackup 2.创建数据目录 cd /data/ mkdir rds-mys…

《Spring Boot应用进阶:打造优雅的错误处理机制与全局异常拦截器》

文章目录 自定义异常类AppException封装业务有关的枚举类AppExceptionCodeMsg全局异常拦截器Handler响应类模板Resp案例展示 || Demo项目结构pom依赖DemoController实际执行结果 Demo案例Git地址 | Gitee 本文主要介绍自己在工作中在处理抛出异常类和封装响应类处理的模板总结。…

追梦无Bug的软件世界

追梦无Bug的软件世界:测试人员的视角与探索 我有一个梦想,今天我们共同承载着一个愿景:创造一个没有Bug的软件世界。 我梦想有一天,用户将享受到完全无Bug的软件体验,用户不再因为软件中的Bug而感到困扰和沮丧。 我梦…