更多内容请见： 备考架构>系统架构设计师-核心总结目录
文章目录
- 一、传统数据处理系统存在的问题
- 二、大数据处理架构>系统架构分析
-
- 三、Lambda架构
- 1、Lambda架构对大数据处理系统的理解
- 2、Lambda架构应用场景
- 3、Lambda架构介绍
- 4、Lambda架构的实现
- 5、Lambda架构优缺点
- 6、Lambda与其他架构模式对比
- 四、Kappa架构
- 1、Kappa架构下对大数据处理系统的理解
- 2、Kappa架构介绍
- 3、Kappa架构的实现
- 4、Kappa架构的优缺点
- 5、常见Kappa架构变形
- 五、Lambda架构与Kappa架构的对比和设计选择
- 1、Lambda架构与Kappa架构的特性对比
- 2、Lambda架构与Kappa架构的设计选择
- 六、大数据架构设计案例分析
- 1、Lambda架构在某网奥运中的大数据应用
- 2、Lambda架构在某网广告平台的应用与演进
- 3、某证券公司大数据系统
- 4、某电商智能决策大数据系统
一、传统数据处理系统存在的问题
1.传统数据库的数据过载问题
传统应用的数据架构>系统架构设计时，应用直接访问数据库系统。当用户访问量增加时，数据库无法支撑日益增长的用户请求的负载，从而导致数据库服务器无法及时响应用户请求，出现超时的错误。关于这个问题的常用解决方法如下:
- (1)
增加异步处理队列，通过工作处理层批量处理异步处理队列中的数据修改请求。 - (2)
建立数据库水平分区，通常建立 Key 分区，以主键/唯一键 Hash 值作为 Key。 - (3)
建立数据库分片或重新分片，通常专门编写脚本来自动完成，且要进行充分测试。 - (4)
引入读写分离技术，主数据库处理写请求，通过复制机制分发至从数据库。 - (5)
引入分库分表技术，按照业务上下文边界拆分数据组织结构，拆分单数据库压力。
