WebSocket vs SSE:实时通信技术的对比与选择

server/2024/12/21 22:58:23/

一、前言

Hello,欢迎来到流穿的AI探索之路系列专栏,作为一名AI应用工程师,我会在这儿更新一些前沿技术,欢迎关注哦。

这个问题也是前不久面试时被提问的,让我对比WebSocket和SSE,说说AI产品下处理SSE请求的方法。挺有意思就整理出来了

试想一个需求:

我们想实时了解某个数据,如果只用HTTP 协议,做不到服务器主动向客户端推送信息。只能是客户端向服务器发出轮询请求。
而轮询也存在问题:
服务端被迫维持大量不同的连接,以及由此造成的高开销

而随着LLM(大语言模型)的发展,流式的数据传输变得越来越普遍。两种常见的实时通信技术:WebSocketSSE(Server-Sent Events) 也进入我们视野,为什么大语言模型对话不使用WebSocket而是SSE呢?

今天就来做一个对比

二、WebSocket概述 🌐

(一)WebSocket的工作原理 🔧

WebSocket 是一种全双工通信协议 🔄,可以在客户端和服务器之间建立持久连接。一旦连接建立,双方就可以在不需要再次握手的情况下,实时双向发送数据。

WebSocket是基于TCP/IP的,基于可靠性传输协议。处于OSI七层协议中的应用层

下面一张图说明了 HTTP 与 WebSocket 的主要区别:

Screenshot 2024-12-17 at 13.53.46

💡 可以看到WebSocket和Http是有联系的,WebSocket在建立握手时,数据是通过HTTP传输的。但是建立之后,在真正传输时候是不需要HTTP协议的。

1.通信过程 📡

(1). 连接建立:通过HTTP协议进行一次"握手",升级到WebSocket协议。 (2). 数据传输:进行双向数据传输,即客户端可以向服务器发送请求,服务器也可以主动推送数据给客户端。 (3). 连接关闭:数据传输完成后,连接可以被主动关闭,减少资源消耗。

Tutorial-WebSocket-vs.-HTTP-communication-diagram

🔍 此处WebSocket打开连接后一直可以进行会话,而HTTP则需要不断的请求/响应

(二)WebSocket的原理

首先,WebSocket 作为持久化的协议,对比非持久的协议(HTTP 这种)。

HTTP 的生命周期通过 Request 来界定,也就是一个 Request 一个 Response。在 HTTP1.0 中,这次 HTTP 请求就结束了。

在 HTTP1.1 中进行了改进,使得有一个 keep-alive,也就是说,在一个 HTTP 连接中,可以发送多个 Request,接收多个 Response。但在 HTTP 中永远是 Request = Response,也就是说一个 Request 只能有一个 Response。而且这个 Response 也是被动的,不能主动发起。

GET /chat HTTP/1.1
Host: **.**.com
Upgrade: websocket
Connection: Upgrade
Sec-WebSocket-Key: 
Sec-WebSocket-Protocol: chat, superchat
Sec-WebSocket-Version: 13
Origin: http://**.com

其中的 Upgrade 字段就会告诉服务器:要用 WebSocket 协议

浏览器也会对应返回:

HTTP/1.1 101 Switching Protocols
Upgrade: websocket
Connection: Upgrade
Sec-WebSocket-Accept:  
Sec-WebSocket-Protocol: chat

告知客户端已使用 WebSocket

(三)、优缺点

1.优点:
  • 双向通信 🔄:客户端和服务器可以同时发送和接收消息,实时互动更加灵活。
  • 持久连接 🔗:一次握手建立连接后,可以维持长时间的连接,减少了频繁建立连接的开销。
  • 低延迟 ⚡:适合高频率的实时数据交换,延迟较低。
2.缺点:
  • 协议复杂性 🧩:相较于HTTP,WebSocket协议较为复杂,需要更多的实现细节来管理连接和数据交换。
  • 浏览器支持 🌐:虽然大部分现代浏览器都支持WebSocket,但仍有部分旧版浏览器不兼容。

SSE__94">三、SSE概述 📡

SSE__96">(一)SSE的工作原理 🔧

Server-Sent Events (SSE) 是一种单向通信协议 🔀,允许服务器向客户端实时推送数据。与WebSocket不同,SSE是完全基于HTTP协议的,处于OSI七层协议中的应用层

Screenshot 2024-12-17 at 14.18.49

SSE的核心特点是服务器主动推送 🚀,客户端只需要建立一次连接,就可以持续接收服务器发送的消息,非常适合需要实时更新的场景。

下面这张图展示了SSE的基本工作流程:

images

💡 可以看到,SSE建立连接后,数据流是单向的,从服务器流向客户端。这与WebSocket的双向通信有所不同。

1.通信过程 📡

(1). 连接建立:客户端通过HTTP请求与服务器建立连接。

(2). 数据传输:服务器持续向客户端推送数据,客户端通过事件监听接收数据。

(3). 连接维护SSE会自动尝试重新连接,如果连接断开。

🔍 注意SSE连接建立后,服务器可以持续推送数据,而不需要客户端重复发起请求。

SSE_124">(二)SSE的原理

SSE 利用 HTTP 协议的长连接特性,在客户端和服务器之间建立一个持久的连接。

当客户端发起一个SSE请求时,它会像这样:

GET /events HTTP/1.1
Host: example.com
Accept: text/event-stream

可以看到不同的是请求头里会设置text/event-stream

服务器接收到这个请求后,会返回一个特殊的响应:

HTTP/1.1 200 OK
Content-Type: text/event-stream
Cache-Control: no-cache
Connection: keep-alivedata: This is the first messagedata: This is the second messagedata: This is the third message

注意 Content-Type 被设置为 text/event-stream,这告诉浏览器我们正在使用SSE

每条消息以 data: 开头,以两个换行符结束。服务器可以持续发送这样的消息,客户端会实时接收并处理。

(三)优缺点

1.优点:
  • 简单易用 🍰:完全基于HTTP协议,实现和使用都相对简单。
  • 自动重连 🔄:如果连接断开,SSE会自动尝试重新连接。
  • 原生支持 🌈:现代浏览器原生支持SSE,无需额外库。
  • 轻量级 🪶:相比WebSocket,SSE更加轻量,适合单向数据流场景。
2.缺点:
  • 单向通信 👉:只能服务器向客户端推送数据,不支持客户端向服务器发送数据。
  • 连接数限制 🚫:浏览器对同一个域名的SSE连接数有限制。
  • 数据格式限制 📄:只能发送文本数据,二进制数据需要编码后传输。

SSE__174">四、为什么 LLM 选择 SSE? 🎯

特性WebSocketSSE
通信方向双向(全双工)单向(服务器到客户端)
协议ws:// 或 wss://HTTP
连接开销较大较小
自动重连需要手动实现原生支持
数据格式支持文本和二进制仅文本
最大连接数受服务器限制较高
跨域支持需要特殊处理简单,遵循 CORS

(一) 符合场景需求

  1. LLM 生成文本是单向输出的过程(客户端提出问题后不需要在中途继续发送信息),无需双向通信
  2. 客户端主要是接收服务器生成的文本流

(二) 技术优势

  1. 更轻量级 💪
    • 使用标准 HTTP 协议
    • 不需要维护 WebSocket 连接状态,服务器资源消耗更少
  2. 更可靠
    • 自动重连机制,断线重连无需额外代码
    • 基于 HTTP 的可靠传输

(三) 资源效率

  1. 内存占用SSE 比 WebSocket 更节省内存,因为:
    • 不需要维护完整的 TCP 连接状态
    • 使用 HTTP 的现有连接池
  2. CPU 使用
    • SSE 的解析开销更小
    • 不需要处理 WebSocket 的帧控制

http://www.ppmy.cn/server/152070.html

相关文章

模型优化和迁移学习

数据获取方法 三大要素:数据、算法(神经网络)、算力 数据集分类 分类数据:图像分类,一般以目录的形式分开标注数据:目标检测和图像分割,是有标注数据的 开源数据集 免费,成本低…

ARINC429和CAN

ARINC-429:一种用于航空电子设备之间数据通信的标准格式,数据格式为:数据速率、字长和校验方式。 数据速率:ARINC429传输速率通常为12.5Kbps或100Kbps; 字长:ARINC429数据长为32位,分为五个部分&#xff1a…

基于STM32的房间湿度控制系统设计与实现(论文+源码)

1.系统总体设计 根据系统的实际应用需求,从硬件电路以及软件程序两个方面展开房间湿度控制系统设计。如图所示为系统的整体架构图。系统采用单片机作为控制器,在传感器检测模块中包括DHT11温湿度检测、有害气体浓度检测,在系统执行模块包括加…

BigBlueButton视频会议 vs 钉钉视频会议系统的详细对比

BigBlueButton视频会议 vs 钉钉视频会议系统的详细对比 作者:BBBEasy中国区团队,Github地址:https://github.com/lihaiya/bbbeasy BigBlueButton和钉钉都是广泛应用的视频会议系统,它们在功能、适用场景、技术架构以及用户体验等…

工业大数据分析算法实战-day10

文章目录 day10机器学习其他视角负载模式、并行化计算新范式 时序算法简介 day10 今天是第10天,昨日主要是针对关联规则算法、深度学习算法进行阐述,讲解了常见的关联规则以及常见的深度学习算法,今日主要是针对第三章节最后一节机器学习算法…

[SZ901]JTAG高速下载设置(53Mhz)

SZ901最高支持JTAG 53MHz的时钟频率,下载bit文件和固化程序的速度提升非常明显。 首先设置参数 1,将JTAG0 分频系数修改为3 2,设置参数,更新参数。(完成) 打开VIVADO VIVADO 正常识别FPGA,速…

Java设计模式 —— 【结构型模式】装饰者模式详解

文章目录 前言结构说明案例演示小结静态代理和装饰者的区别 前言 在日常生活中,我们常会遇到一种场景:去快餐店吃饭,里面琳琅满目的主食,还有各式各样的配菜作为消费者,只管挑选就行,但是如果让我们来设计…

96 vSystem

vSystem系统 1 技术背景 网络虚拟化旨在构建出一套与网络底层物理拓扑相互独立的逻辑网络环境,提供给不同需求的用户使用。基于这种思想,诞生出了 VLAN 技术和 VPN 技术。近年来, 随着以 VMM(Virtual Machine Monitor&#xff0c…