mysql单表1000万条_mysql单表千万条数据测试

news/2024/11/16 12:51:24/

软件环境:win7,mysql版本5.5,InnoDB存储引擎。

硬件环境:普通笔记本,CPU P8700双核2.53GHz,内存3G,5400转机械硬盘1000GB。

建了一张表,id列是自增长bigint,再加上其他varchar、datetime型的字段,总共8个字段,通过java生成了insert的sql文件,一共62个文件,每个文件50万行(约88M),总共3100万行记录(约5.35G),通过source导入,从中午1:30一直到18:00才导完,花了快4个半小时,导完后,数据文件大小约2.5G。后来听说用load data infile可以加快导数据时间,改天再试试。

结论1:由此可见,mysql单表支持1000万条数据是完全可行的。

此时只有id列上有主键,聚集索引,测试开始。

1、整表数据行数统计(select count)

select count(*) from t_test;

返回3100万条数据足足花了1分21秒,多次测试取平均值,也差不多要1分6秒。

select count(n_id) from t_test;

返回3100万条数据也要1分多,感觉比count(*)性能好不了多少,难道是数据量级还不够大?

给n_id建了一个非聚集索引,create index idx_nid on t_test(n_id) 耗时4分43秒。

再次 select count(n_id) from t_test;

返回3100万条数据耗时13.52秒;


http://www.ppmy.cn/news/735695.html

相关文章

Java编程——输出1000以内的素数(质数)

素数的定义是什么? 质数(prime number)又称素数,有无限个。 一个大于1的自然数,除了1和它本身外,不能被其他自然数(质数)整除,换句话说就是该数除了1和它本身以外不再有其…

阿里面试官说: 请你设计一个支撑1000W并发的系统?

第一章 1000W用户的问题分解 如何支撑1000W用户其实是一个非常抽象的问题,对于技术开发来说,我们需要一个非常明确的对于执行关键业务上的性能指标数据,比如,高峰时段下对于事务的响应时间、并发用户数、QPS、成功率、以及基本指…

mysql1000w数据怎么加索引_给mysql一百万条数据的表添加索引

直接alter table add index 添加索引,执行一个小时没反应,并且会导致锁表;故放弃该办法,最终解决办法如下: 一.打开mysql 命令行客户端 这里我们那可以看到导出的数据文件所存放的默认位置 C:\ProgramData\MySQL\MySQ…

网络爬虫-抓取1000W百度文库doc文档

今天抓取的是百度文库doc文档,但是要求确实随机的1000万份文档并存为txt文本,下载百度文库的开源项目已经有了,那么去哪里找到1000万个百度文库doc文档的url呢,并且在短时间内下载下来。 因为爬虫是一个IO密集型业务,所…

mysql大数据建立索引 1000W

重新添加索引,对于1000W级的数据,按常规的方式来操作,时间上是一个很大的问题。而且对于1000W级的数据,本人建议对此表进行分表优化。如果非要添加索引操作,方法倒是有的。 1.创建一个新的表结构:create ta…

使用随机算法产生一个数,要求把1-1000W之间这些数全部生成

使用随机算法产生一个数,要求把1-1000W之间这些数全部生成。(考察高效率,解决产生冲突的问题) 代码虽然实现了。 提高效率的地方有如下: 1.初始化set集合的时候 Sets.newHashSetWithExpectedSize(value), …

使用随机算法产生一个数,要求把1-1000W之间这些数全部生成。(考察高效率,解决产生冲突的问题)

【记录学习笔记,方便自己理解。 】 参考博客:https://blog.csdn.net/fanbih/article/details/54913787 以100为例,1000W时将value值更改即可,选取1-100范围方便时输出检验是否正确。 先构建一个value大小的数组,按下…

MySQL如何快速批量插入1000w条数据

听说有个面试题是: 如何快速向mysql中插入1000w条数据? 我私下试了一下, 发现插入10000条数据用了0.9s, 插入10w条数据用了4.7s, 插入100w条数据用了58s左右,1000w条数据,我的笔记本吭哧了5分钟,自己停了, 心中1000w只草泥马呼啸而过,我用的是下面的代码: -- 进入数据库 use…