淘宝十年资深架构师吐血总结淘宝的数据库架构设计和采用的技术手段。

news/2024/9/22 21:36:05/

淘宝十年资深架构师吐血总结淘宝的数据库架构设计和采用的技术手段。

文章目录

  • 淘宝十年资深架构师吐血总结淘宝的数据库架构设计和采用的技术手段。
    • 本文导读
    • 1.分库分表
    • 2.数据冗余
    • 3.异步复制
    • 4.读写分离
    • 总结

本文导读

淘宝的数据库架构设计采用了分布式数据库技术,通过分库分表、数据冗余、异步复制、读写分离等技术手段来解决数据库的性能、可用性和扩展性问题。

1.分库分表

​ 分库分表是将数据分散存储在多个数据库和表中,以提高数据库并发性能和扩展性的技术。淘宝采用了基于业务的分库分表架构,将每个商品的信息存储在不同的数据库中,每个数据库再细分为多个表,每个表存储某个商品的某个信息。这样可以避免单个数据库或表的容量限制,同时也方便水平扩展。但是,分库分表后,跨库查询和事务处理会变得复杂,所以需要使用中间件来协调分片之间的操作。

淘宝采用了TDDL(Taobao Distributed Data Layer)作为分库分表的中间件。TDDL是一种分布式数据库访问层,它负责将用户请求路由到相应的数据库分片上,协调事务、缓存和分片操作,以保证数据一致性和高性能。TDDL采用了类似于Mysql Proxy的架构,通过动态拦截和修改JDBC API调用来实现数据库访问和控制。

2bbcdd7443819968713d5835fc29a95b.png

2.数据冗余

​ 数据冗余就是将同一份数据存储在多个地方,以提高数据的可用性和容错能力的技术。淘宝的主数据库会实时同步到多个备份数据库中,一旦主数据库出现故障,备份数据库会自动接管工作。同时,淘宝还使用了多副本存储技术,将数据存储在多个节点上,保证了数据的高可用性。

淘宝采用了Mycat(MySQL Cluster Autonomic Tuning)作为数据冗余的中间件。Mycat是一种分布式数据库中间件,它提供了数据分片、数据冗余、读写分离、动态路由、故障切换等功能,可以在多台MySQL服务器之间分配和复制数据,提高数据库的可用性和容错能力。

img

3.异步复制

​ 异步复制就是将主数据库中的数据异步复制到从数据库中,以提高数据库的读性能和可用性的技术。淘宝的主数据库会定期将数据同步到从数据库,保证从数据库的数据与主数据库同步。

淘宝采用了Canal作为异步复制的中间件。Canal是一种基于MySQL数据库日志增量订阅

Canal是一种基于MySQL数据库日志增量订阅和消费的中间件,它可以将MySQL的数据变更实时地转发到消息队列或者其他存储系统中。淘宝通过Canal将主数据库的数据变更实时地同步到从数据库中,以提高从数据库的读性能和可用性。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kpFE729E-1678329545540)(null)]

4.读写分离

​ 读写分离就是将读操作和写操作分别路由到不同的数据库服务器上,以提高数据库的读性能和可用性的技术。淘宝的主数据库处理写操作,从数据库处理读操作,以减轻主数据库的负担,同时提高从数据库的读性能。

淘宝采用了Alibaba Cobar作为读写分离的中间件。Cobar是一种轻量级的分布式数据库中间件,它可以实现数据库的读写分离、负载均衡和故障切换等功能。Cobar通过多个节点之间的协作,使得整个分布式系统具有高可用性和高性能。

img

总结

​ 综上所述,淘宝的数据库架构设计采用了分布式数据库技术,通过分库分表、数据冗余、异步复制、读写分离等技术手段来解决数据库的性能、可用性和扩展性问题。同时,淘宝还采用了一系列中间件来协调分布式系统的操作,保证了数据的一致性和高性能。这些技术手段的综合应用,使得淘宝的数据库能够承受双十一这种高并发、高压力的交易活动。
在这里插入图片描述


http://www.ppmy.cn/news/38676.html

相关文章

天下苦广告久矣!分享五款免费且无广告的开源软件

在日常的使用中,我们需要使用各种软件来提高我们的工作效率或者进行创意的表达。然而,商业软件价格昂贵,某些国产软件又充斥着广告。因此,开源软件成为了一个不错的选择,以下是我推荐的五款优秀的开源软件。 1.办公套…

spring cloud中实现接口广播请求到服务提供者

一、背景 假如现在有一台服务A,两台服务B,可以简化为如下图模型: 需求:一次请求服务A需要同时将请求广播打到两台服务B上。 二、实现方案 2.1 需要应用到两个类: 2.1.1:LoadBalancerClient package org…

龙智被SmartBear评为2022年“最具动力营销团队”

近日,全球领先的软件开发和可视化工具提供商SmartBear进行了首届合作伙伴评选,并向全球不同地区的9个合作伙伴颁发了首个年度合作伙伴奖。DevSecOps解决方案提供商龙智是唯一一家来自中国的获奖合作伙伴,获得 “最具动力营销团队”称号。 Sm…

【Spring Boot】自定义 Banner

文章目录1. 什么是 Banner2. 如何修改 Banner3. IDEA 中演示4. 快速生成 Banner5. 指定 banner.txt 的位置6. 在 Spring Boot 2 中的说明6.1 图片生成 Banner6.1 增强显示效果6.3 更多配置项7. 补充Spring Boot Version: 3.0.x 1. 什么是 Banner 启动 Spring Boot 时&#xf…

第四十八天打卡

第四十八天打卡 打家劫舍 打家劫舍 中等 2.5K 相关企业 你是一个专业的小偷,计划偷窃沿街的房屋。每间房内都藏有一定的现金,影响你偷窃的唯一制约因素就是相邻的房屋装有相互连通的防盗系统,如果两间相邻的房屋在同一晚上被小偷闯入&#…

JVM 垃圾回收概述和相关算法

自动内存管理特点 https://docs.oracle.com/javase/8/docs/technotes/guides/vm/gctuning/toc.html 自动内存管理,无需开发人员手动参与内存的分配与回收,这样降低内存泄漏和内存溢出的风险 没有垃圾回收器,java也会和cpp一样,各…

文心一格,百度AI作画产品

文章目录AIGC什么是AI作画?Prompt文心一格使用方法注册账号使用AI绘图AIGC的未来发展结语AIGC AIGC(AI Generated Content)是指利用人工智能生成内容。是利用人工智能来生成你所需要的内容,GC的意思是创作内容。与之相对应的概念中…