Redis 存储断点续传文件状态的最佳实践

news/2024/12/19 0:32:02/

目录

      • 1. Redis 中存储文件上传状态
        • 使用 Hash 存储文件状态
        • 存储分块上传状态
        • 使用 TTL 进行状态过期管理
      • 2. Redis 与数据库保持一致
        • 方法 1:定期同步
        • 方法 2:实时同步
        • 方法 3:双写机制
        • 方法 4:系统重启后的恢复
      • 3. 一致性保障
      • 4. 总结
      • 5. 代码实践
        • 5.1 在 Redis 中存储文件上传状态
        • 5.2 存储已上传的分块状态
        • 5.3 数据同步到数据库

在断点续传系统中,如何高效地存储和更新文件上传状态是关键。得益于 Redis 高效的内存操作和多种数据结构的支持,它非常适合用于存储上传过程中的临时状态信息。下面,我们将探讨如何利用 Redis 实现文件上传状态的存储,并与数据库保持一致,确保系统的稳定与数据的可靠。

1. Redis 中存储文件上传状态

Redis 提供了丰富的数据结构,可以灵活地存储和更新文件上传的各类状态。以下是几种常见的实现方式。

使用 Hash 存储文件状态

在 Redis 中,每个文件的上传状态可以使用一个独特的键(如 file_id 或者用户 ID + 文件名的组合)来标识,所有与文件上传相关的数据(如已上传字节数、文件总大小、已上传的分块等)则存储在一个 Hash 表中。例如:

Key: file_upload:<file_id>
Fields:- uploaded_size: 已上传的字节数- file_size: 文件的总大小- chunks: 已上传的分块索引列表- status: 当前上传状态(如 "uploading", "paused", "completed")- last_update_time: 上次更新的时间
存储分块上传状态

对于大文件分块上传,Redis 的集合(Set)或者列表(List)可以存储每个已上传的分块。比如:

Key: file_chunks:<file_id>
Set: {chunk_1, chunk_2, chunk_3, ...}

这样,每个上传的分块都会被记录,上传状态能被精准地追踪和管理。

使用 TTL 进行状态过期管理

对于文件上传的临时状态,可以设置适当的过期时间。比如,当文件上传完成后,自动清理 Redis 中的状态数据:

EXPIRE file_upload:<file_id> 86400  # 设置该文件状态一天后过期

这样避免了无用数据的长期占用内存。

2. Redis 与数据库保持一致

尽管 Redis 高效且快速,但它毕竟是内存数据库,系统重启或故障时,存储的数据可能会丢失。因此,将 Redis 中的断点续传状态与数据库中的持久化数据保持一致显得尤为重要。

方法 1:定期同步

最简单的方式是通过定时任务(如 Cron Job)定期将 Redis 中的上传状态同步到数据库。可以设置一个后台服务,每隔一定时间(如每小时)扫描 Redis 中所有的上传状态,将其写入数据库

数据库表设计

CREATE TABLE file_upload_status (file_id VARCHAR(255) PRIMARY KEY,uploaded_size BIGINT,file_size BIGINT,chunks TEXT,  -- 存储已上传的分块信息,格式为 JSONstatus ENUM('uploading', 'paused', 'completed'),last_update_time DATETIME
);
方法 2:实时同步

如果需要更高的实时性,可以采用实时同步的方法。每当 Redis 中某个文件的上传状态发生变化时,立即同步到数据库。可以使用消息队列(如 Kafka 或 RabbitMQ)来异步处理同步任务,或者直接在代码中同步更新。

例如:

  1. 更新 Redis 中的状态时,触发异步任务。
  2. 利用 Redis 的 Keyspace Notifications(键空间通知)来监听 Redis 中键的变化,并自动将变化同步到数据库
方法 3:双写机制

双写机制是在每次更新 Redis 时,直接同步更新数据库。这种方式确保了每次写操作都会同时影响 Redis 和数据库,从而避免了数据的不一致。

例如,在更新文件上传进度时:

MULTI  # Redis 事务
HSET file_upload:<file_id> uploaded_size 1024
EXEC-- 同时更新数据库
UPDATE file_upload_status SET uploaded_size = 1024 WHERE file_id = '<file_id>';
方法 4:系统重启后的恢复

为了在系统重启后能够恢复上传状态,可以在系统启动时从数据库加载上传状态,并同步到 Redis。这样即使服务重启,断点续传的状态也不会丢失。

for record in db.query("SELECT * FROM file_upload_status WHERE status = 'uploading'"):redis.hmset(f"file_upload:{record['file_id']}", {"uploaded_size": record['uploaded_size'],"file_size": record['file_size'],"status": record['status']})

3. 一致性保障

为了确保 Redis 和数据库中的数据一致性,我们可以采用以下策略:

  1. 事务控制:确保 Redis 和数据库的写入操作在同一个事务中完成,以保证数据的一致性。
  2. 消息队列:通过消息队列记录 Redis 的变更事件,再由后台服务同步到数据库,从而避免直接操作数据库带来的性能瓶颈。
  3. 幂等性设计:确保每次操作是幂等的,即即使重复执行,数据也不会出现冲突或不一致。
  4. 定期数据对账:定期对 Redis 和数据库中的数据进行比对,确保一致性。如果发现不一致,可以触发修复机制。

4. 总结

Redis 作为临时存储,能高效地支持断点续传系统的状态管理。结合定时同步、实时更新或双写机制,能够确保 Redis 和数据库中的数据保持一致性。在实现时,我们还要注意一致性保障,避免因 Redis 失效或重启导致的数据丢失。

5. 代码实践

5.1 在 Redis 中存储文件上传状态

首先,我们需要在 Redis 中为每个文件的上传状态创建一个 Hash 表来记录文件的状态。假设我们正在上传一个大文件,采用分块上传。

#include <hiredis/hiredis.h>
#include <iostream>
#include <string>// 连接 Redis
redisContext* connectToRedis() {redisContext* c = redisConnect("127.0.0.1", 6379);if (c == NULL || c->err) {if (c) {std::cerr << "Redis connection error: " << c->errstr << std::endl;} else {std::cerr << "Unable to allocate redis context\n";}exit(1);}return c;
}// 设置文件上传状态
void setFileUploadStatus(redisContext* c, const std::string& file_id, size_t uploaded_size, size_t file_size, const std::string& status) {redisReply* reply = (redisReply*)redisCommand(c, "HSET file_upload:%s uploaded_size %zu file_size %zu status %s",file_id.c_str(), uploaded_size, file_size, status.c_str());freeReplyObject(reply);
}int main() {redisContext* c = connectToRedis();std::string file_id = "file123";size_t uploaded_size = 5000;  // 已上传 5000 字节size_t file_size = 10000;     // 文件总大小 10000 字节std::string status = "uploading";  // 上传状态:正在上传// 更新 Redis 中的文件状态setFileUploadStatus(c, file_id, uploaded_size, file_size, status);redisFree(c);return 0;
}
5.2 存储已上传的分块状态

对于分块上传,可以在 Redis 中使用 Set 来记录已上传的分块。

// 添加已上传分块到 Redis Set
void addUploadedChunk(redisContext* c, const std::string& file_id, const std::string& chunk_id) {redisReply* reply = (redisReply*)redisCommand(c,"SADD file_chunks:%s %s", file_id.c_str(), chunk_id.c_str());freeReplyObject(reply);
}int main() {redisContext* c = connectToRedis();std::string file_id = "file123";std::string chunk_id = "chunk_1";  // 上传的第一个分块// 将已上传的分块存储到 Redis Set 中addUploadedChunk(c, file_id, chunk_id);redisFree(c);return 0;
}
5.3 数据同步到数据库

将 Redis 中的状态同步到 MySQL 数据库,以确保持久化存储的一致性。

#include <mysql/mysql.h>// 连接 MySQL 数据库
MYSQL* connectToDatabase() {MYSQL* conn = mysql_init(NULL);if (conn == NULL) {std::cerr << "mysql_init() failed\n";exit(1);}conn = mysql_real_connect(conn, "localhost", "root", "password", "file_upload", 3306, NULL, 0);if (conn == NULL) {std::cerr << "mysql_real_connect() failed\n";exit(1);}return conn;
}// 将文件上传状态同步到数据库
void syncToDatabase(MYSQL* conn, const std::string& file_id, size_t uploaded_size, size_t file_size, const std::string& status) {std::string query = "UPDATE file_upload_status SET uploaded_size = " + std::to_string(uploaded_size) + ", file_size = " + std::to_string(file_size) + ", status = '" + status + "' WHERE file_id = '" + file_id + "'";if (mysql_query(conn, query.c_str())) {std::cerr << "MySQL query failed: " << mysql_error(conn) << std::endl;}
}int main() {MYSQL* conn = connectToDatabase();std::string file_id = "file123";size_t uploaded_size = 5000;size_t file_size = 10000;std::string status = "uploading";// 将文件上传状态同步到数据库syncToDatabase(conn, file_id, uploaded_size, file_size, status);mysql_close(conn);return 0;
}

通过这种方式,我们可以实现高效、稳定的断点续传系统,同时确保 Redis 和数据库中的数据一致性。


http://www.ppmy.cn/news/1556242.html

相关文章

Redis集合运算的应用场景

集合并集&#xff08;Union&#xff09;的应用场景 标签系统 应用场景&#xff1a;假设有一个社交平台&#xff0c;用户可以给内容打上不同的标签。使用Redis集合来存储每个标签下的内容ID。使用并集&#xff1a;当用户想要查看多个标签下的内容时&#xff0c;可以使用 SUNION …

揭开开源神秘面纱

在当今的技术领域&#xff0c;“开源” 这个词越来越频繁地出现在我们的视野中。但是&#xff0c;你真的了解开源的相关定义吗&#xff1f;今天&#xff0c;我们就来深入剖析一下开源这个神秘而又充满魅力的概念。 开源 开源&#xff08;Open Source&#xff09;是一种软件开…

[Unity Shader]【游戏开发】【图形渲染】Unity Shader的结构3-深入理解 Fallback 指令及其应用

在 Unity Shader 中,Fallback 指令是一项非常重要的功能,帮助开发者提供一个“后备方案”以保证在某些硬件环境下,Shader 仍能运行。它类似于一种错误恢复机制,当当前的 SubShader 在目标硬件上无法执行时,Fallback 会自动切换到一个较为简单的备用 Shader。本文将详细介绍…

java-使用druid sqlparser将SQL DDL脚本转化为自定义的java对象

java-使用druid sqlparser将SQL DDL脚本转化为自定义的java对象 一、引言二、环境三、待解析的DDL四、解析后的对象结构五、完整的UT类六、控制台输出总结 一、引言 在日常开发中&#xff0c;有些需要对SQL进行解析的场景&#xff0c;比如读取表结构信息&#xff0c;生成文档、…

APP测试中ios和androis的区别,有哪些注意点

一、运行机制不同 IOS采用的是沙盒运行机制&#xff0c;安卓采用的是虚拟机运行机制。 1、沙盒机制&#xff1a; 概念&#xff1a;沙盒是一种安全机制&#xff0c;用于防止不同应用之间互相访问 作用&#xff1a;就是存储数据&#xff0c;每个沙盒就相当于每个每个应用的系…

Mac上使用ln指令创建软链接、硬链接

在Mac、Linux和Unix系统中&#xff0c;软连接&#xff08;Symbolic Link&#xff09;和硬连接&#xff08;Hard Link&#xff09;是两种不同的文件链接方式。它们的主要区别如下&#xff1a; 区别&#xff1a; 硬连接&#xff1a; 不能跨文件系统。不能链接目录&#xff08;为…

JVM--垃圾回收机制

垃圾回收机制&#xff08;Garbage Collection&#xff0c;简称GC&#xff09;是Java虚拟机&#xff08;JVM&#xff09;中的一项关键技术&#xff0c;它自动管理程序运行时产生的内存分配与释放&#xff0c;从而减轻了程序员手动管理内存的负担&#xff0c;并减少了由于错误的内…

JS进阶-面向对象-搭建网站-HTML与JS交互

JS进阶 文章目录 JS进阶大纲作用域和闭包作用域块级作用域语句作用域全局作用域 闭包调用闭包的方法全局变量返回值 面向对象实例化构造函数添加对象的成员prototypeproto和prototype理解原型和实例 对象原型的误解原型链this指向浏览器环境Node JS环境 JS逆向常见方法call和ap…