EasyFile-一整套Web大文件导出解决方案。轻松导出千万以上数据

server/2024/9/23 21:20:56/

文章目录

    • 什么是EasyFile
    • 功能特性
    • 解决问题
    • 框架对比
    • 软件架构
      • 代码结构
    • 时序图
    • 快速开始
        • 一、引入maven依赖
        • 二、Client端需要提供文件上传服务进行实现接口
        • 三、SpringBoot 启动入口处理
        • 四、额外处理
        • 五、异步文件处理器
        • 六、实现下载器
        • 七、Admin-管理界面
        • 八、easyfile-server 部署

什么是EasyFile

EasyFile-是为了提供更加便捷的文件服务,一整套Web大文件导出解决方案。可以轻松导出千万以上数据

功能特性

支持（同步、异步）导出、文件压缩、流式导出、分页导出、导出缓存复用、多组分页导出、多组流式导出、多种异步触发机制 等特性。

优化缓解导出文件时对服务的内存和CPU影响。针对文件服务可做更多的管理。

提供给开发者更加通用、快捷、统一的实现的API方案；

解决问题

1、瞬时加载数据过大导致内存飙高不够平滑机器宕机风险很大

2、生成较大文件容易出现HTTP 超时，造成导出失败

3、相同条件的导出结果无法做到复用，需要继续生成导出文件资源浪费

4、导出任务集中出现没有可监控机制

5、开发者不仅需要关心数据查询逻辑同时需要关心文件生成逻辑

6、导出耗时过长时,无法查看到执行进度

框架对比

与 Alibaba 的EasyExcel 相比,两者侧重点不同。

Alibaba EasyExcel 是一个Excel文件生成导出、导入 解析工具。

EasyFile 是一个大文件导出的解决方案。用于解决大文件导出时遇到的，文件复用，文件导出超时，内存溢出，瞬时CPU 内存飙高等等问题的一整套解决方案。 同时EasyFile 不仅可以用于Excel 文件的导出,也可以用于csv,pdf,word 等文件导出的管理（暂时需要用户自己集成基础导出下载类BaseDownloadExecutor 实现文件生成逻辑）。

而且,EasyFile和Alibaba EasyExcel 并不冲突，依然可以结合EasyExcel 使用,文件生成逻辑使用Alibaba EasyExcel 做自行拓展使用。

1、使用全量查出100w数据+EasyExcel导出(com.openquartz.easyfile.example.downloader.StudentDownloadDemoExecutor) 内存图：

在这里插入图片描述

2、使用分页导出(com.openquartz.easyfile.example.downloader.StudentPageDownloadDemoExecutor) 内存图
在这里插入图片描述

生成的文件大小比对:
在这里插入图片描述

软件架构

EasyFile 提供两种模式

  • Local模式(推荐): 需要提供本地的api 存储Mapper. 将数据存储到本地数据库中管理。

  • Remote模式：需要部署easyfile-server 服务，并设置客户端调用远程EasyFile 的域名。

代码结构

  • easyfile-common: 公共模块服务

  • easyfile-core : 核心服务

  • easyfile-metrics : metrics支持

    • easyfile-metrics-api : metrics-api 协议
    • easyfile-metrics-promethes : metrics-promethes 实现

  • easyfile-storage: 存储服务

    • easyfile-storage-api: 存储服务API
    • easyfile-storage-remote: 远程调用存储
    • easyfile-storage-local: 本地数据源存储

  • easyfile-spring-boot-starter: easyfile starter 包 工程module集合

    • easyfile-spring-boot-starter-parent: easyfile starter parent 工程
    • easyfile-spring-boot-starter-local: easyfile local 模式 starter工程包
    • easyfile-spring-boot-starter-remote: easyfile remote 模式 starter工程包

  • easyfile-server: easyfile 远程存储服务端

  • easyfile-ui: easyfile-admin ui-管理服务 (可选)

  • easyfile-example: 样例工程

    • easyfile-example-local: 本地储存样样例工程
    • easyfile-example-remote: 远程存储样例工程

时序图

在这里插入图片描述

快速开始

一、引入maven依赖

如果使用本地模式 引入maven

<dependency><groupId>com.openquartz</groupId><artifactId>easyfile-spring-boot-starter-local</artifactId><version>1.4.0</version>
</dependency>

如果使用remote模式引入maven 依赖

<dependency><groupId>com.openquartz</groupId><artifactId>easyfile-spring-boot-starter-remote</artifactId><version>1.4.0</version>
</dependency>
二、Client端需要提供文件上传服务进行实现接口
package com.openquartz.easyfile.storage.file;import java.io.File;
import com.openquartz.easyfile.common.bean.Pair;/*** 文件上传服务** @author svnee*/
public interface UploadService {/*** 文件上传* 如果需要重试则需要抛出 com.openquartz.easyfile.core.exception.GenerateFileException** @param file 文件* @param fileName 自定义生成的文件名* @param appId 服务ID* @return key: 文件系统 --> value:返回文件URL/KEY标识符*/Pair<String, String> upload(File file, String fileName, String appId);}

将文件上传到自己的文件存储服务

三、SpringBoot 启动入口处理

增加注解扫描 com.openquartz.easyfile.starter.annotation.EnableEasyFileAutoConfiguration包在服务的启动入口上

例如：

/*** @author svnee**/
@SpringBootApplication
@EnableEasyFileAutoConfiguration
@MapperScan("com.openquartz.easyfile.example.mapper")
public class LocalExampleApplication {public static void main(String[] args) {SpringApplication.run(LocalExampleApplication.class);}
}
四、额外处理

如果是使用Local模式，需要提供Client配置

##### easyfile-local-datasource
easyfile.local.datasource.type=com.zaxxer.hikari.HikariDataSource
easyfile.local.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
easyfile.local.datasource.url=jdbc:mysql://localhost:3306/test?characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&transformedBitIsBoolean=true&serverTimezone=GMT%2B8
easyfile.local.datasource.username=root
easyfile.local.datasource.password=123456

需要执行SQL:

CREATE TABLE ef_async_download_task
(id                BIGINT (20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 'id',task_code         VARCHAR(50) NOT NULL DEFAULT '' COMMENT '任务编码',task_desc         VARCHAR(50) NOT NULL DEFAULT '' COMMENT '任务描述',app_id            VARCHAR(50) NOT NULL DEFAULT '' COMMENT '归属系统 APP ID',unified_app_id    VARCHAR(50) NOT NULL DEFAULT '' COMMENT '统一APP ID',enable_status     TINYINT (3) NOT NULL DEFAULT 0 COMMENT '启用状态',limiting_strategy VARCHAR(50) NOT NULL DEFAULT '' COMMENT '限流策略',version           INT (10) NOT NULL DEFAULT 0 COMMENT '版本号',create_time       TIMESTAMP   NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',update_time       TIMESTAMP   NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',create_by         VARCHAR(50) NOT NULL DEFAULT '' COMMENT '创建人',update_by         VARCHAR(50) NOT NULL DEFAULT '' COMMENT '更新人',is_deleted        BIGINT (20) NOT NULL DEFAULT 0 COMMENT '是否删除',PRIMARY KEY (id),UNIQUE KEY `uniq_app_id_task_code` (`task_code`,`app_id`) USING BTREE
)ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT '异步下载任务';CREATE TABLE ef_async_download_record
(id                    BIGINT (20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 'id',download_task_id      BIGINT (20) NOT NULL DEFAULT 0 COMMENT '下载任务ID',app_id                VARCHAR(50)  NOT NULL DEFAULT '' COMMENT 'app ID',download_code         VARCHAR(50)  NOT NULL DEFAULT '' COMMENT '下载code',upload_status         VARCHAR(50)  NOT NULL DEFAULT '' COMMENT '上传状态',file_url              VARCHAR(512) NOT NULL DEFAULT '' COMMENT '文件路径',file_system           VARCHAR(50)  NOT NULL DEFAULT '' COMMENT '文件所在系统',download_operate_by   VARCHAR(50)  NOT NULL DEFAULT '' COMMENT '下载操作人',download_operate_name VARCHAR(50)  NOT NULL DEFAULT '' COMMENT '下载操作人',remark                VARCHAR(50)  NOT NULL DEFAULT '' COMMENT '备注',notify_enable_status  TINYINT (3) NOT NULL DEFAULT 0 COMMENT '通知启用状态',notify_email          VARCHAR(50)  NOT NULL DEFAULT '' COMMENT '通知有效',max_server_retry      TINYINT(3) NOT NULL DEFAULT 0 COMMENT '最大服务重试',current_retry         TINYINT(3) NOT NULL DEFAULT 0 COMMENT '当前重试次数',execute_param         TEXT NULL COMMENT '重试执行参数',error_msg             VARCHAR(256) NOT NULL DEFAULT '' COMMENT '异常信息',last_execute_time     DATETIME NULL COMMENT '最新执行时间',invalid_time          DATETIME NULL COMMENT '链接失效时间',download_num          TINYINT(3) NOT NULL DEFAULT 0 COMMENT '下载次数',execute_process       TINYINT(3) NOT NULL DEFAULT 0 COMMENT '执行进度',version               INT (10) NOT NULL DEFAULT 0 COMMENT '版本号',create_time           TIMESTAMP    NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',update_time           TIMESTAMP    NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',create_by             VARCHAR(50)  NOT NULL DEFAULT '' COMMENT '创建人',update_by             VARCHAR(50)  NOT NULL DEFAULT '' COMMENT '更新人',PRIMARY KEY (id),KEY                   `idx_download_operate_by` (`download_operate_by`) USING BTREE,KEY                   `idx_operator_record` (`download_operate_by`,`app_id`,`create_time`),KEY                   `idx_upload_invalid` (`upload_status`,`invalid_time`,`id`),KEY                   `idx_create_time` (`create_time`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT '异步下载记录';

如果是使用remote服务，需要部署easyfile-server 服务,Client提供配置

#### easyfile-storage-remote
easyfile.remote.username=example
easyfile.remote.password=example
easyfile.remote.server-addr=127.0.0.1:8080
easyfile.remote.namespace=remote-example
五、异步文件处理器

异步文件处理器配置

六、实现下载器

下载器

七、Admin-管理界面

EasyFile 提供了一个简单的Admin管理界面（@since 1.2.0）。 如需开启需要引入maven


<dependency><groupId>com.openquartz</groupId><artifactId>easyfile-ui</artifactId><version>1.2.0</version>
</dependency>

服务监控路径地址为: ip+port/easyfile-ui/ 例如：localhost:8080/easyfile-ui/ 服务默认Admin用户账户密码为: admin / admin

如果需要更改可以配置：

easyfile.ui.admin.username=admin
easyfile.ui.admin.password=admin

EasyFile UI 管理界面

在这里插入图片描述

八、easyfile-server 部署

如果使用Remote模式时,需要部署easyfile-server服务;

否则不需要进行部署

1、执行存储DB SQL
2、部署服务


http://www.ppmy.cn/server/120996.html

相关文章

2024.09.22 leetcode 每日一题

2024.09.22 leetcode 每日一题

Excel表列名称 给你一个整数 columnNumber &#xff0c;返回它在 Excel 表中相对应的列名称。 https://leetcode.cn/problems/excel-sheet-column-title/description/ 我的解法&#xff1a; class Solution { public:string convertToTitle(int columnNumber) {std::map<…
阅读更多...
WPF 的TreeView的TreeViewItem下动态生成TreeViewItem

WPF 的TreeView的TreeViewItem下动态生成TreeViewItem

树形结构仅部分需要动态生成TreeViewItem的可以参考本文。 xaml页面 <TreeView MinWidth"220" ><TreeViewItem Header"功能列表" ItemsSource"{Binding Functions}"><TreeViewItem.ItemTemplate><HierarchicalDataTempla…
阅读更多...
【数学分析笔记】第3章第2节 连续函数（5）

【数学分析笔记】第3章第2节 连续函数（5）

3. 函数极限与连续函数 3.2 连续函数 3.2.10 复合函数的连续性 【例3.2.11】证明&#xff1a;对任意实数 α \alpha α&#xff0c; f ( x ) x α f(x)x^{\alpha} f(x)xα在 ( 0 , ∞ ) (0,\infty) (0,∞)上连续。 【证】 f ( x ) x α e α ln ⁡ x f(x)x^{\alpha}e^{\…
阅读更多...
Elasticsearch——介绍、安装与初步使用

Elasticsearch——介绍、安装与初步使用

目录 1.初识 Elasticsearch1.1.了解 ES1.1.1.Elasticsearch 的作用1.1.2.ELK技术栈1.1.3.Elasticsearch 和 Lucene1.1.4.为什么不是其他搜索技术&#xff1f;1.1.5.总结 1.2.倒排索引1.2.1.正向索引1.2.2.倒排索引1.2.3.正向和倒排 1.3.Elasticsearch 的一些概念1.3.1.文档和字…
阅读更多...
【网络安全】网络基础第一阶段——第二节：网络协议基础---- 路由和ARP协议

【网络安全】网络基础第一阶段——第二节：网络协议基础---- 路由和ARP协议

本篇文章我们来介绍IP路由的基本概念&#xff0c;包括路由的原理、静态路由和动态路由的配置与特点。 目录 一、路由 1.1 IP路由原理、静态路由及动态路由区分 1.1.1 什么是路由 1.1.2 路由的原理 1.1.2 路由表 1.1.3 静态路由与动态路由 1.2 路由原理详解 1.2.1 路由的…
阅读更多...
新产品，推出 MLX90372GVS 第三代 Triaxis® 位置传感器 IC，适用于汽车和工业系统（MLX90372GVS-ACE-308）

新产品，推出 MLX90372GVS 第三代 Triaxis® 位置传感器 IC，适用于汽车和工业系统（MLX90372GVS-ACE-308）

Triaxis 旋转和线性位置传感器IC&#xff1a; MLX90372GVS-ACE-103 MLX90372GVS-ACE-108 MLX90372GVS-ACE-301 MLX90372GVS-ACE-200 MLX90372GVS-ACE-208 MLX90372GVS-ACE-303 MLX90372GVS-ACE-300 MLX90372GVS-ACE-350 MLX90372GVS-ACE-100 MLX90372GVS-ACE-101 MLX90372GVS-…
阅读更多...
微服务实战系列之玩转Docker（十五）

微服务实战系列之玩转Docker（十五）

前言 博主的玩转Docker系列&#xff0c;今天正式开启第十五篇的征程&#xff01; 在过去的十四篇中&#xff0c;涉及的内容有知识、有原理、有工具、更有实践。当你打开每一篇文章时&#xff0c;均会获得一个特定主题的知识和技巧&#xff0c;助你在云原生的世界里&#xff0c…
阅读更多...
数字IC设计\FPGA 职位经典笔试面试整理--基础篇1

数字IC设计\FPGA 职位经典笔试面试整理--基础篇1

注&#xff1a; 资料都是基于网上一些博客分享和自己学习整理而成的 1&#xff1a;什么是同步逻辑和异步逻辑&#xff1f; 同步逻辑是时钟之间有固定的因果关系。异步逻辑是各时钟之间没有固定的因果关系。 同步时序 逻辑电路的特点&#xff1a;各触发器的时钟端全部连接在一…
阅读更多...
最新文章

Copyright @ 2022~2023