HTTP协议:大文件传输

news/2025/2/11 12:10:44/

有时候从服务器下载的文件会很大,HTTP 协议本身支持一些头部字段能够让你在下载这类文件时进行一些控制。

数据压缩
首先想到的肯定是数据压缩。这个功能在请求方需要用 Accept-Encoding 字段来表明客户端支持什么样的压缩类型,在服务端,是通过 Content-Encoding 这个字段来表示服务器要用什么样的压缩算法来发送数据。

常用的三种压缩算法有:gzip、deflate、br。但是这些算法对于文本来说效率很高,通常能够达到 50%+,而对于图片、音频、视频等文件来说这类文件本身的压缩率很高,就没办法使用 gzip 这类算法来压缩了。

Nginx 的 gzip on 指令可以启用对 “text/html” 的压缩。并且这个指令很智能,只会对文本文件采用压缩,而遇到图片、音频和视频等文件会自动跳过。

分块传输
分块传输是一种 “化整为零” 的思路。这种思路在 HTTP 协议里就是 “chunked” 分块传输编码,在响应报文里用头字段 “Transfer-Encoding: chunked” 来表示,意思是报文里的 body 部分不是一次性发过来的,而是分成了许多的块(chunk)逐个发送。

分块传输也可以用于 “流式数据”,例如由数据库动态生成的表单页面,这种情况下 body 数据的长度是未知的,无法在头字段 “Content-Length” 里给出确切的长度,所以也只能用 chunked 方式分块发送。

“Transfer-Encoding: chunked” 和 “Content-Length” 这两个字段是互斥的,也就是说响应报文里这两个字段不能同时出现,一个响应报文的传输要么是长度已知,要么是长度未知(chunked),这一点你一定要记住。

分块传输的格式:

每个分块包含两个部分,长度头和数据块;
长度头是以 CRLF(回车换行,即 \r\n)结尾的一行明文,用 16 进制数字表示长度;
数据块紧跟在长度头后,最后也用 CRLF 结尾,但数据不包含 CRLF;
最后用一个长度为 0 的块表示结束,即 “0\r\n\r\n”。
范围请求
分块传输很好的解决了大文件传输的部分问题,但还有如下场景需要考虑:

假如在线观看一个电影,这个电影的某些部分你想跳过(比如 “FBI Warning”),直接到达 “激动人心” 的部分,那这个时候就需要一些能够表达这个信息的额外语义了。范围请求能够帮助我们做到这些:

能够允许客户端在请求头里使用专用字段来表示只获取文件的一部分,相当于是客户端的 “化整为零”。

范围请求不是 Web 服务器必备的功能,可以实现也可以不实现,所以服务器必须在响应头里使用字段 “Accept-Ranges: bytes” 明确告知客户端:“我是支持范围请求的”。

如果不支持的话该怎么办呢?服务器可以发送 “Accept-Ranges: none”,或者干脆不发送 “Accept-Ranges” 字段,这样客户端就认为服务器没有实现范围请求功能,只能老老实实地收发整块文件了。

请求头 Range 是 HTTP 范围请求的专用字段,格式是 “bytes=x-y”,其中的 x 和 y 是以字节为单位的数据范围。

要注意 x、y 表示的是 “偏移量”,范围是从 0 计数,例如前 10 个字节表示为 “0-9”,第二个 10 字节表示为 “10-19”,而 “0-10” 实际上是前 11 个字节。

Range 的格式也很灵活,起点 x 和终点 y 可以省略,能够很方便地表示正数或者倒数的范围。假设文件是 100 个字节,那么:

“0-” 表示从文档起点到文档终点,相当于 “0-99”,即整个文件;
“10-” 是从第 10 个字节开始到文档末尾,相当于 “10-99”;
“-1” 是文档的最后一个字节,相当于 “99-99”;
“-10” 是从文档末尾倒数 10 个字节,相当于 “90-99”。
服务器收到 Range 字段后,需要做四件事。

第一,它必须检查范围是否合法,比如文件只有 100 个字节,但请求 “200-300”,这就是范围越界了。服务器就会返回状态码 416,意思是 “你的范围请求有误,我无法处理,请再检查一下”。

第二,如果范围正确,服务器就可以根据 Range 头计算偏移量,读取文件的片段了,返回状态码 “206 Partial Content”,和 200 的意思差不多,但表示 body 只是原数据的一部分。

第三,服务器要添加一个响应头字段 Content-Range,告诉片段的实际偏移量和资源的总大小,格式是 “bytes x-y/length”,与 Range 头区别在没有 “=”,范围后多了总长度。例如,对于 “0-10” 的范围请求,值就是 “bytes 0-10/100”。

最后剩下的就是发送数据了,直接把片段用 TCP 发给客户端,一个范围请求就算是处理完了。

有了范围请求之后,HTTP 处理大文件就更加轻松了,看视频时可以根据时间点计算出文件的 Range,不用下载整个文件,直接精确获取片段所在的数据内容。

不仅看视频的拖拽进度需要范围请求,常用的下载工具里的多段下载、断点续传也是基于它实现的,要点是:

先发个 HEAD,看服务器是否支持范围请求,同时获取文件的大小;
开 N 个线程,每个线程使用 Range 字段划分出各自负责下载的片段,发请求传输数据;
下载意外中断也不怕,不必重头再来一遍,只要根据上次的下载记录,用 Range 请求剩下的那一部分就可以了。
多段数据
刚才说的范围请求一次只获取一个片段,其实它还支持在 Range 头里使用多个 “x-y”,一次性获取多个片段数据。

这种情况需要使用一种特殊的 MIME 类型:“multipart/byteranges”,表示报文的 body 是由多段字节序列组成的,并且还要用一个参数 “boundary=xxx” 给出段之间的分隔标记。

多段数据的格式与分块传输也比较类似,但它需要用分隔标记 boundary 来区分不同的片段,可以通过图来对比一下。

每一个分段必须以 “- -boundary” 开始(前面加两个 “-”),之后要用 “Content-Type” 和 “Content-Range” 标记这段数据的类型和所在范围,然后就像普通的响应头一样以回车换行结束,再加上分段数据,最后用一个 “- -boundary- -”(前后各有两个 “-”)表示所有的分段结束。

示例:

GET /16-2 HTTP/1.1
Host: www.chrono.com
Range: bytes=0-9, 20-29
结果:

HTTP/1.1 206 Partial Content
Content-Type: multipart/byteranges; boundary=00000000001
Content-Length: 189
Connection: keep-alive
Accept-Ranges: bytes

–00000000001
Content-Type: text/plain
Content-Range: bytes 0-9/96

this is
–00000000001
Content-Type: text/plain
Content-Range: bytes 20-29/96

ext json d
–00000000001–
压缩 HTML 等文本文件是传输大文件最基本的方法;
分块传输可以流式收发数据,节约内存和带宽,使用 响应头字段 “Transfer-Encoding: chunked” 来表示,分块的格式是 16 进制长度头 + 数据块;
范围请求可以只获取部分数据,即 “分块请求”,实现视频拖拽或者断点续传,使用 请求头字段 “Range” 和响应头字段 “Content-Range”,响应状态码必须是 206;
也可以一次请求多个范围,这时候 响应报文的数据类型是 “multipart/byteranges”,body 里的多个部分会用 boundary 字符串分隔。

关于分块传输(chunked)的需要注意的一点:
http 传输永远是一个请求一个响应的工作模式,只是响应是 chunked 分块,body 数据不是一次性发过来的,而是分批分块发送,但仍然是在一个报文里。
客户端发送请求后等待响应,服务器组织数据,分块发送,最后一个分块是结束标志。客户端依次接收分块,收到结束标志后就把数据拼成完整的报文。


http://www.ppmy.cn/news/58565.html

相关文章

「OceanBase 4.1 体验」OceanBase 4.1社区版的部署及使用体验

「OceanBase 4.1 体验」OceanBase 4.1社区版的部署及使用体验 一、前言1.1 本次实践介绍1.2 本次实践目的 二、准备环境资源2.1 部署前需准备工作2.2 本地环境规划 三、部署Docker环境3.1 安装Docker3.2 配置Docker镜像加速3.3 开启路由转发3.4 重启Docker服务 四、检查本地Doc…

Sentinel --- 简介、流量控制

一、Sentinel 1.1、雪崩问题及解决方案 雪崩问题 微服务中,服务间调用关系错综复杂,一个微服务往往依赖于多个其它微服务。 如图,如果服务提供者I发生了故障,当前的应用的部分业务因为依赖于服务I,因此也会被阻塞。此…

第8章 Memcached append 命令教程

Memcached append 命令教程用于向已存在 key(键) 的 value(数据值) 后面追加数据 。 语法: append 命令的基本语法格式如下: append key flags exptime bytes [noreply]value参数说明如下: **key:**键值 key-value 结构中的 ke…

java版本企业电子招标采购系统源码Spring Cloud + Spring Boot +二次开发

一、立项管理 1、招标立项申请 功能点:招标类项目立项申请入口,用户可以保存为草稿,提交。 2、非招标立项申请 功能点:非招标立项申请入口、用户可以保存为草稿、提交。 3、采购立项列表 功能点:对草稿进行编辑&#x…

SmartEngine流程引擎之Custom模式

目录 一、为什么选用SmartEngine 二、各类流程引擎框架简单对比 1、流程设计器推荐 2、什么是BPMN 流程定义解释说明 三、SmartEngine之Custom实操 1、引入依赖 2、典型的初始化代码如下 3、节点如何流转以及流程实例存储问题 4、定义Delegation 关键类 一、为什么选用…

浏览器安全之SQL注入

基本概念 SQL注入漏洞是指,攻击者能够利用现有Web应用程序,将恶意的数据插入SQL查询中,提交到后台数据库引擎执行非授权操作。 主要危害 ●非法查询、修改或删除数据库资源。 ●执行系统命令。 ●获取承载主机操作系统和网络的访问权限。 …

DDPM--生成扩散模型

DDPM–生成扩散模型 Github: https://github.com/daiyizheng/Deep-Learning-Ai/blob/master/AIGC/Diffusion.ipynb DDPM 是当前扩散模型的起点。在本文中,作者建议使用马尔可夫链模型,逐步向图像添加噪声。 函数 q ( x t ∣ x t − 1 ) q(x_t | x_t-1…

Baumer工业相机堡盟相机如何使用ROI感兴趣区域功能( PARTIAL SCAN ROI功能的优点和行业应用)(C#)

项目场景 Baumer工业相机堡盟相机是一种高性能、高质量的工业相机,可用于各种应用场景,如物体检测、计数和识别、运动分析和图像处理。 Baumer的万兆网相机拥有出色的图像处理性能,可以实时传输高分辨率图像。此外,该相机还具…