后端大量数据返回,采用数据压缩+分片操作,加快前端响应速度,个人技术总结

devtools/2024/10/18 16:47:52/

1. 业务场景

场景类似于,可以查看到这段时间内指定的所有物品的运动轨迹,可以进行回放操作。

2. 解决方案

2.1. 在不考虑压缩的情况,可以尽可能减少传输数据的大小

比如

{[{"consDept":"A部门","consDeptCode":"001","provinceScheduleVO":[{"projectTypeCode":"DEngineering","percentSchedule":"100","planStartStatus":"2"},{"projectTypeCode":"Main","percentSchedule":"50","planStartStatus":"2"}, ……]},{"consDept":"B部门","consDeptCode":"002","provinceScheduleVO":[{"projectTypeCode":"DEngineering","percentSchedule":"100","planStartStatus":"1"},{"projectTypeCode":"Main","percentSchedule":"0","planStartStatus":"1"}, ……]}, …… ]};

把consDept属性名改成a,consDeptCode属性名改成b,把projectTypeCode属性名称改成c, ……  切记不要传输前台不需要的属性。

处理后的数据格式为:

{[{"a":"A部门","b":"001","VO":[{"c":"DEngineering","d":"100","e":"2"},{"c":"Main","d":"50","e":"2"}, ……]},{"a":"B部门","b":"002","VO":[{"c":"DEngineering","d":"100","e":"1"},{"c":"Main","d":"0","e":"1"}, ……]}, …… ]};

数据量也减少了

再这基础上还可以进行优化

改成键值对的形式

对于这种数组形式,如果数据格式相对比较简单,没有嵌套的一维数组,甚至可以改成键值对的形式

比如 “a”:["A部门","B部门","C部门"] ,以减少“a”属性名称出现的次数。  

2.2 分片上传

我们这个数据有开始时间和结束时间的设置,我们就可以知道结束时间,自动就可以获取到,我们固定时间分片要求是什么呢?要求就是倍数的要求,从当前时间开始,以一小时作为一次分割快,最后如果不足1h,则直接获取就行。这样子也可以优化

2.3 后端数据压缩

考虑到数据带宽的问题,我们组长选择后端数据压缩的解决方案

后端使用压缩

协议是:http的请求头 Accept-Encoding:gzip,

你需要将数据转换为字节数组,然后使用GZIPOutputStream对其进行压缩

import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.util.zip.GZIPOutputStream;public class DataCompressor {public static byte[] compressData(String jsonData) throws IOException {ByteArrayOutputStream outputStream = new ByteArrayOutputStream();try (GZIPOutputStream gzipOutputStream = new GZIPOutputStream(outputStream)) {gzipOutputStream.write(jsonData.getBytes("UTF-8"));}return outputStream.toByteArray();}
}

接着实现将压缩后的数据作为HTTP响应体发送,并设置相应的Content-Encoding头部。

import org.springframework.http.ResponseEntity;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.nio.charset.StandardCharsets;@RestController
public class DataController {@GetMapping("/compressedData")public void getCompressedData(HttpServletResponse response) throws IOException {// 假设这是你的大量JSON数据String jsonData = "{\"large\": \"data\", ...}";// 压缩数据byte[] compressedData = DataCompressor.compressData(jsonData);// 设置响应头response.setHeader("Content-Encoding", "gzip");response.setContentType("application/json");response.setContentLength(compressedData.length);// 将压缩数据写入响应体response.getOutputStream().write(compressedData);}
}


http://www.ppmy.cn/devtools/48222.html

相关文章

计算机网络 —— 网络层(IP数据报)

计算机网络 —— 网络层(IP数据报) 网络层要满足的功能IP数据报IP数据报格式IP数据报首部格式数据部分 IP数据报分片 我们今天进入网络层的学习。 网络层要满足的功能 网络层作为OSI模型中的第三层,是计算机网络体系结构的关键组成部分&…

视图、触发器、存储过程、函数语法

数据库相关语法 视图:触发器:场景:应用: 存储过程:场景:应用: 函数:预定义函数:数学类函数:字符串类函数 :日期时间类函数: 自定义函数…

传输层——TCP协议

目录 TCP协议 TCP协议段格式 确认应答机制(ACK) 序号与确认序号 32位序号 32位确认序号 确认应答(ACK)机制 16位窗口大小 六个标志位 超时重传机制 连接管理机制 三次握手 四次挥手 理解CLOSE_WAIT状态 理解TIME_WAIT状态 ​编辑流量控制…

大数据之Hadoop是什么?Hadoop起源?

什么是Hadoop Hadoop 是一个用于存储和处理大规模数据集(大数据)的分布式存储和分布式计算平台。它由 Apache 软件基金会维护,并基于 Java 编程语言编写。Hadoop 的核心设计理念是能够在普通硬件上运行,并且能够处理非常大的数据集。狭义上说Hadoop就是一个框架平台,广义…

机器学习——决策树

决策树 决策树可以理解为是一颗倒立的树,叶子在下端,根在最上面 一层一层连接的是交内部节点,内部节点主要是一些条件判断表达式,叶子叫叶节点,叶节点其实就是最终的预测结果,那么当输入x进去,…

[Shell编程学习路线]——编制第一个shell脚本入门篇

🏡作者主页:点击! 🛠️Shell编程专栏:点击! ⏰️创作时间:2024年6月12日10点23分 🀄️文章质量:93分 目录 ——前言—— 💥常用的几种shell Bash Sh …

173.二叉树:找树左下角的值(力扣)

代码解决 /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode() : val(0), left(nullptr), right(nullptr) {}* TreeNode(int x) : val(x), left(nullptr, right(nullptr) {}* Tree…

Unity3D MMORPG背包系统数据获取与通讯详解

在Unity3D开发的大型多人在线角色扮演游戏(MMORPG)中,背包系统是一个至关重要的功能。玩家通过背包来管理、查看和使用他们获得的物品。背包系统不仅需要处理本地数据的存储和显示,还需要与服务器进行通讯,确保数据的同…