为什么要分库分表?(设计高并发系统的时候,数据库层面该如何设计?)

embedded/2024/9/23 5:18:53/

目录

1.分表 

2.分库


        说白了,分库分表是两回事儿,大家可别搞混了,可能是光分库不分表,也可能是光分表不分库,都有可能。
        我先给大家抛出来一个场景。
        假如我们现在是一个小创业公司(或者是一个 BAT 公司刚兴起的一个新部门),现在注册用户就 20 万,每天活跃用户就1万,每天单表数据量就1000,然后高峰期每秒钟并发请求最多就10个。就这种系统,随便找一个有工作经验的,然后带几个刚培训出来的,随便干干都可以。
        结果没想到我们运气居然这么好,碰上个CEO 带着我们走上了康庄大道,业务发展迅猛,过了几个月,注册用户数达到了2000万!每天活跃用户数 100 万!每天单表数据量10 万条!高峰期每秒最大请求达到 1000!同时公司还顺带着融资了两轮,进账了几个亿人民币啊!公司估值达到了惊人的几亿美金!这是小独角兽的节奏!
        好吧,没事,现在大家感觉压力已经有点大了,为啥呢?因为每天多 10 万条数据,一个月就多300万条数据,现在咱们单表已经几百万数据了,马上就破千万了,但是勉强还能撑着。高峰期请求现在是1000,咱们线上部署了几台机器,负载均衡搞了一下,数据库撑1000QPS 也还凑合。但是大家现在开始感觉有点担心了,接下来咋整呢……

        再接下来几个月,我的天,CEO太牛逼了,公司用户数已经达到1亿,公司继续融资几十亿人民币啊!公司估值达到了惊人的几十亿美金,成为了国内今年最牛逼的明星创业公司!
        但是我们同时也是不幸的,因为此时每天活跃用户数上千万,每天单表新增数据多达 50万,目前一个表总数据量都已经达到了两三千万了!扛不住啊!数据库磁盘容量不断消耗掉,高峰期并发达到惊人的 5000~8000 !我跟你保证,你的系统支撑不到现在,已经挂掉了!
        好吧,所以你看到这里差不多就理解分库分表是怎么回事儿了,实际上这是跟着你的公司业务发展走的,你公司业务发展越好,用户就越多,数据量越大,请求量越大,那你单个数据库一定扛不住。

1.分表 

        比如你单表都几千万数据了,你确定能扛住么?绝对不行,单表数据量太大,会极大影响你的 sql 执行的性能,到了后面你的 sql 可能就跑的很慢了。一般来说,就以我的经验来看,单表到几百万的时候,性能就会相对差一些了,你就得分表了。
        分表是啥意思?就是把一个表的数据放到多个表中,然后查询的时候你就査一个表。比如按照用户 id 来分表,将一个用户的数据就放在一个表中。然后操作的时候你对一个用户就操作那个表就好了。这样可以控制每个表的数据量在可控的范围内,比如每个表就固定在 200 万以内。

2.分库

        分库是啥意思?就是你一个库一般我们经验而言,最多支撑到并发 2000,一定要扩容了,而且一个健康的单库并发值你最好保持在每秒 1000 左右,不要太大。那么你可以将一个库的数据拆分到多个库中,访问的时候就访问一个库好了。
        这就是所谓的分库分表,为啥要分库分表?你明白了吧。


http://www.ppmy.cn/embedded/13178.html

相关文章

JVM(1)

目录 1.类加载的生命周期? 2.类加载器的层次? 3.Class.forName()和ClassLoader.loadClass()的区别? 4.JVM类加载器机制有哪些? 5.双亲委派机制过程? 6.说说JVM内存整体结构,线程私有还是共享的? 7.什么是程序计数器(线程私有)? 8.什么是虚拟机栈(线程私有)?…

电子温度计不准需要怎么处理?

电子温度计不准需要怎么处理? 首选将温度计完全浸入温度为0℃左右的水中,使温度计指示值与0℃相等,拿出测量待测物的温度。其次将温度计完全浸入温度为100℃左右的水中,使温度计指示值与100℃相等,拿出测量待测物的温…

使用LLM-API开发应用-DataWhale笔记

调用API 先使用一个例子 from openai import OpenAI ​ client OpenAI(# This is the default and can be omittedapi_keyos.environ.get("OPENAI_API_KEY"), //这个在环境env中 ) ​ completion client.chat.completions.create(# 调用模型:ChatGPT-…

Anon Network:基于 Ator Protocol 的 DePIN 匿名互联网

Anon Network正在以Ator Protocol为基础构建世界上最大的Web3隐私互联网生态,其旨在基于DePIN网络(Ator protocol),通过激励体系构建一个自下而上、自我维持且可持续、不依赖于任何三方实体且完全匿名的完备互联体系。在该体系中&…

Nginx+Keepalived实现高可用

1、Keepalived介绍 Keepalived是一个在Linux环境下运行的轻量级高可用性解决方案,它起初是专为Linux Virtual Server (LVS) 设计的,用于监控和管理LVS集群中的各个服务节点状态。Keepalived通过集成VRRP(Virtual Router Redundancy Protocol…

18.AVL树的模拟实现

前面对map/multimap/set/multiset进行了简单的介绍,在其文档介绍中发现,这几个容器有个共同点是:其底层都是按照二叉搜索树来实现的,但是二叉搜索树有其自身的缺陷,假如往树中插入的元素有序或者接近有序,二…

在android 源代码中 使用gradlew 编译android 模块

gradle 编译子模块 在Gradle中编译子模块通常涉及到以下步骤: 1、确保你的项目结构是模块化的,每个子模块都是一个独立的目录2、在项目的根目录下的setting.gradle文件中,包含需要编译的子模块。例如:include ‘:submodule-name…

【前端】vue3使用方法

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、vue3简介二、使用步骤三、总结 前言 随着开发语言及人工智能工具的普及,使得越来越多的人学习前端工具,本文主要是介绍vue3的使用方…