【架构设计】新闻推送系统设计

embedded/2025/1/12 23:20:34/

系统需求与估算

在这里插入图片描述

  • 功能需求:包括提要发布、检索、通知和分析等功能。
  • 非功能需求:需具备高可用性和低延迟特性。
  • 估算数据:假设每天有 2000 万活跃用户,每人每天调整五次,由此可得每秒约接收 1000 条推文,按 100:1 的读写比例,每秒约有 10 万个读取请求。若每条推文按 100 字节算,存储 10 年约需 36TB 存储空间。

数据模型概述

在这里插入图片描述

  • 用户表:包含 id、电子邮件、出生日期、信用信息等,id 作为主线 UID。
  • 推文表:有 id、关联用户的外键、文本内容以及用于区分推文类型(如常规推文、转发)的枚举。
  • 关注者表:通过两个外键分别记录关注者和被关注者的 id,以明确用户间的关注关系。
  • 提要表:与用户和推文相关联,一个用户可拥有多个提要,每个提要包含多条推文,通过外键建立关联,此数据模型虽简单但功能强大,是系统设计的良好起点。

API 设计探讨

  • Rest API:具有发布端点(需推文内容和身份验证令牌)和获取端点(提供身份验证令牌获取提要),能满足大部分需求,较为简单实用。
  • GraphQL:2015 年由 FACEBOOK 创建,仅有一个端点,通过查询(检索信息)和突变(更改数据)操作,由客户端指定响应形状,可解决数据过度获取问题,扩展性良好,但相对复杂,本文暂以 Rest API 为例进行后续讨论。

推送拉取策略分析

在这里插入图片描述

  • 推送模型(写入时扇出):新推文发布时立即推送给关注者提要缓存,优点是读取速度快、提要实时生成,但会为不活跃用户计算浪费资源,且存在热键问题(如大 V 发推时资源消耗巨大)。
    在这里插入图片描述

  • 拉取模型(读取时扇出):系统在关注者请求查看提要时才计算新闻源,避免了资源浪费和热键问题,但读取速度慢,难以满足低延迟和高性的非功能需求。

  • 混合方法:结合推式和拉式模型,对大多数用户采用推送模型,对粉丝众多的名人采用拉取模型,能较好地平衡资源利用和性能,有效解决提要发布和检索问题。

体系结构与讨论点

在这里插入图片描述

  • 体系结构
    • 用户服务:配备用户缓存和数据库,可按需设置图形数据库,用于处理用户基本信息和关注关系,支持快速信息检索。
    • 新闻源服务:与推文服务交互实现发布和检索功能,与通知服务协作,在发布推文时可推送至 Kafka 队列等,并通过通知服务向用户发送邮件、短信等多种形式的通知。
    • 通知服务:与 Kafka 等流媒体服务配合,将通知推送至各类终端。
    • 分析服务:运用 spark 等大数据工具分析使用指标(如每日推文数量、用户与帖子的互动情况等),有助于提升用户体验。
  • 讨论点
    • 无状态服务:利于水平扩展应用程序,不保留用户会话信息。
    • 多实例服务:每个服务设置多个实例,确保系统高可用性,在节点故障时仍能正常处理请求。
    • 多数据中心分布:降低全球用户的延迟,提升服务响应速度。
    • 数据库只读副本:设置多个只读副本处理大量读取负载,可采用领导者追随者方法。
    • 数据缓存:缓存数据提升性能,但需定义缓存策略(如过期政策)。
    • 指标监控与服务定制:监控使用指标,根据请求量变化定制服务,如在高请求时段启动更多服务实例。
    • 媒体存储:存储视频、图像等媒体文件时使用 CDN,加快检索速度,减少延迟,提高整体性能和用户体验。

http://www.ppmy.cn/embedded/153403.html

相关文章

oracle闪回恢复数据:(闪回查询,闪回表,闪回库,回收站恢复)

oracle的闪回查询,可以查询提交在表空间的闪回数据,并可以还原所查询的数据,用于恢复短时间内的delele 或者 update 误操作,非常方便,缺点是只能恢复大概几小时内的数据。 文章目录 概要闪回查询恢复数据的主要方法包括…

SpringBoot的@Scheduled和@Schedules有什么区别

Scheduled 的详细解析 参数详解 cron: 使用Cron表达式来指定复杂的调度模式。Cron表达式的格式如下: 秒(0-59)分钟(0-59)小时(0-23)日(1-31)月(1-12 或 JAN-…

哈希表及模拟实现

目录 一、哈希表的概念 二、模拟实现哈希表 1.开放地址法 (1)哈希表的数据加上状态标志 (2)哈希表扩容:载荷因子 (3)哈希函数:不同数据类型转换为整型 (4)完整代码 2.链地址法(哈希桶) (1)哈希表扩容:载荷因子…

分布式ID—雪花算法

背景 现在的服务基本是分布式、微服务形式的,而且大数据量也导致分库分表的产生,对于水平分表就需要保证表中 id 的全局唯一性。 对于 MySQL 而言,一个表中的主键 id 一般使用自增的方式,但是如果进行水平分表之后,多…

Java 的单例模式详解及优化

💖 欢迎来到我的博客! 非常高兴能在这里与您相遇。在这里,您不仅能获得有趣的技术分享,还能感受到轻松愉快的氛围。无论您是编程新手,还是资深开发者,都能在这里找到属于您的知识宝藏,学习和成长…

蓝桥杯算法|练习记录

位运算 按位与运算符(&) 运算规则:两位同时为1,结果才为1,否则结果为0。例如, -3(在计算机中表示为1101)&5(0101) 0101(即十进制的1&…

Spring Boot 支持哪些日志框架

Spring Boot 支持多种日志框架,主要包括以下几种: SLF4J (Simple Logging Facade for Java) Logback(默认)Log4j 2Java Util Logging (JUL) 其中,Spring Boot 默认使用 SLF4J 和 Logback 作为日志框架。如果你需要使…

DSP+Simulink——点亮LED灯(TMSDSP28379D)超详细

实现功能:DSP28379D-LED灯闪烁 :matlab为2019a :环境建立见之前文章 Matlab2019a安装C2000 Processors超详细过程 matlab官网链接: Getting Started with Embedded Coder Support Package for Texas Instruments C2000 Processors Overview of Creat…