MySQL快速生成 1000W 条测试数据

news/2024/11/16 16:17:52/

好记忆不如烂笔头,能记下点东西,就记下点,有时间拿出来看看,也会发觉不一样的感受.

目录

1、生成思路

2、创建普通表及内存表

 3、创建函数

4.创建存储过程

5、调用存储过程 

6、插入普通表中


1、生成思路

利用mysql内存表插入速度快的特点,先利用函数和存储过程在内存表中生成数据,然后再从内存表插入普通表中

2、创建普通表及内存表

普通表
CREATE TABLE `vote_record` (
    `id` INT (11) NOT NULL AUTO_INCREMENT,
    `user_id` VARCHAR (20) NOT NULL,
    `vote_id` INT (11) NOT NULL,
    `group_id` INT (11) NOT NULL,
    `create_time` datetime NOT NULL,
    PRIMARY KEY (`id`),
    KEY `index_user_id` (`user_id`) USING HASH
) ENGINE = INNODB AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8


内存表
CREATE TABLE `vote_record_memory` (
    `id` INT (11) NOT NULL AUTO_INCREMENT,
    `user_id` VARCHAR (20) NOT NULL,
    `vote_id` INT (11) NOT NULL,
    `group_id` INT (11) NOT NULL,
    `create_time` datetime NOT NULL,
    PRIMARY KEY (`id`),
    KEY `index_id` (`user_id`) USING HASH
) ENGINE = MEMORY AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8


 3、创建函数

CREATE FUNCTION `rand_string`(n INT) RETURNS varchar(255) CHARSET latin1
BEGIN 
DECLARE chars_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789'; 
DECLARE return_str varchar(255) DEFAULT '' ;
DECLARE i INT DEFAULT 0; 
WHILE i < n DO 
SET return_str = concat(return_str,substring(chars_str , FLOOR(1 + RAND()*62 ),1)); 
SET i = i +1; 
END WHILE; 
RETURN return_str; 
END

4.创建存储过程

CREATE  PROCEDURE `add_vote_memory`(IN n int)
BEGIN  
  DECLARE i INT DEFAULT 1;
    WHILE (i <= n ) DO
      INSERT into vote_record_memory  (user_id,vote_id,group_id,create_time ) VALUEs (rand_string(20),FLOOR(RAND() * 1000),FLOOR(RAND() * 100) ,now() );
            set i=i+1;
    END WHILE;
END


5、调用存储过程 

CALL  add_vote_memory(10000000)
 如果内存不足,则在 my.cnf 下添加如下配置:

  tmp_table_size=1G
  max_heap_table_size = 1G

 

6、插入普通表中

INSERT into vote_record SELECT * from  vote_record_memory

如此六步就可以生产对应的数据,只不过这种方式,完全依赖的是数据库的配置,如果配置很差劲,那么产生数据就会很慢。

 


http://www.ppmy.cn/news/735684.html

相关文章

mysql中导入1000W条数据,哪种方式比较快

前言 背景 今天被妹子问到一个问题&#xff0c;往mysql中导入1000W条数据&#xff0c;哪种方式比较快&#xff0c;我居然被问到了&#xff0c;说实话我还真心不知道。 那就找数据呗&#xff0c;搞数据研发的好处就是&#xff0c;数据肯定是很多的&#xff0c;正好还有测试集群…

MySQL批量插入1000w条数据

一、概述 在一些实际的测试、运维过程中&#xff0c;往往需要向数据库插入大量数据&#xff0c;利用存储过程是一个不错的选择 本次采用MySQL5.7&#xff0c;模拟实际批量插入1000w条随机数据 二、创建库 mysql -uroot -p密码create database bigdata;use bigdata三、创建表 …

MySQL线上环境单表1000w数据增加字段怎么玩

http://www.gameboys.cn/article/163 向一个 1000w 数据的线上业务表里新加字段&#xff0c;怎么操作&#xff1f; 本地测试及正确解决方案&#xff1a; 1.准备测试环境 MySQL 测试环境 系统&#xff1a;Linux centos 6.8 内存&#xff1a;2G 内存 CPU:2 核 CPU 硬盘&…

如何从数据库加载1000w数据

这篇文章主要讲解 如何从数据库加载1000w数据 加载大量数据 例子&#xff1a;将1000w的数据从数据库导入到redis中 在mysql中的实现方法&#xff1a;1、limit 分页 2、游标 limit 分页 问题&#xff1a; 当offset很大时&#xff0c;mysql需要做大量的文件排序操作&#x…

Mysql 数据库 第十六节 存储过程 1000w 数据的插入

存储过程 1. 一组 可编程的函数&#xff0c; 是为了完成特定功能的 SQL语句集 储存过程就是具有名字的 一段代码&#xff0c;用来完成特定功能 2. 为什么要是用 存储过程 将 重复性很高的一些操作&#xff0c;封装到一个存储过程中&#xff0c; 简化了 对这些 SQL 的调用 批量…

Redis 中 hash 存储和获取

你知道的越多&#xff0c;你不知道的越多 点赞再看&#xff0c;养成习惯 如果您有疑问或者见解&#xff0c;欢迎指教&#xff1a; 企鹅&#xff1a;869192208 前言 最近做了个需求&#xff0c;需要用到 Redis 中 hash 存储和获取&#xff0c;记录一下使用方法。 import com.a…

编译Android平台的OpenCV库并启用OpenCL及Contrib

1.下载好OpenCV与OpenCV_Contirb 版本: 4.7 编译主机系统: Ubuntu 20.04 LTS 准备环境与工具: ANDRIOD SDK 与 NDK ,CMAKE ,NINJA ,GCC,G++ ,MAKE 开始编译: ../opencv/platforms/android/build_sdk.py --extra_modules_path=../opencv_contrib/modules --no_samples_bu…

华硕 触摸板关闭以及开启

关闭&#xff1a;fnf9 开启&#xff1a;再次fnf9