FastExcel 实现数据分批次导入、导出

是基于 FastExcel 实现数据分批次导入和保存的完整解决方案，结合了高性能流式读取与分批处理机制：

一、环境准备

依赖配置

<dependency><groupId>cn.idev.excel</groupId><artifactId>fastexcel</artifactId><version>1.1.0</version>
</dependency>

配置文件调整
在 application.yml 中增加上传文件大小限制（适用于大文件上传）：
```
java">spring:servlet:multipart:max-file-size: 500MBmax-request-size: 500MB
```

二、分批次导入实现

1. 实体类定义

使用 @ExcelProperty 注解映射 Excel 列：

java">@Data
public class DataEntity {@ExcelProperty("ID")private Long id;@ExcelProperty("名称")private String name;}

2. 自定义监听器（核心）

通过流式读取实现内存优化和分批次处理：

java">public class BatchImportListener extends AnalysisEventListener<DataEntity> {private static final int BATCH_SIZE = 10000; // 每批次处理量private List<DataEntity> batchList = new ArrayList<>();private final DataService dataService; // 数据服务类@Overridepublic void invoke(DataEntity data, AnalysisContext context) {batchList.add(data);if (batchList.size() >= BATCH_SIZE) {saveBatch(); // 达到批次阈值时保存batchList.clear();}}@Overridepublic void doAfterAllAnalysed(AnalysisContext context) {if (!batchList.isEmpty()) saveBatch(); // 处理剩余数据}private void saveBatch() {dataService.batchInsert(batchList); // 调用批量插入方法}
}

3. 控制器调用

java">@PostMapping("/import")
public String importExcel(@RequestParam("file") MultipartFile file) {FastExcel.read(file.getInputStream(), DataEntity.class, new BatchImportListener(dataService)).sheet().doRead();return "导入成功";
}

三、分批次导出实现

1. 流式写入避免 OOM,使用临时文件缓存模式

内存优化
默认情况下（.inMemory(true)），所有数据会暂存到内存中，当导出超过 10万行 数据时，极易引发 OutOfMemoryError。
启用 .inMemory(false) 后，数据将写入 临时文件（默认在系统临时目录），内存仅保留索引信息。
稳定性保障
适合处理百万级甚至千万级数据导出场景，内存占用始终保持在 50MB 以内（实测数据）。

java">public void exportLargeData(HttpServletResponse response, String fileName) {response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet");response.setHeader("Content-Disposition", "attachment;filename=" + URLEncoder.encode(fileName, StandardCharsets.UTF_8));try (ExcelWriter excelWriter = FastExcel.write(response.getOutputStream(), DataEntity.class).inMemory(false) // 关键配置：启用磁盘缓存.build()) {WriteSheet sheet = FastExcel.writerSheet("百万数据").build();int page = 1;while (true) {List<DataEntity> batch = dataService.getBatchData(page, 50000); // 每次查询5万条if (batch.isEmpty()) break;excelWriter.write(batch, sheet); // 分批写入临时文件log.info("已写入第 {} 批，累计 {} 条", page, page * 50000);page++;}} catch (IOException e) {throw new RuntimeException("导出失败", e);}
}

2.临时文件管理

文件位置
临时文件路径格式：/tmp/fastexcel-cache-{UUID}.tmp（Linux/Mac）或 C:\Users\xxx\AppData\Local\Temp\fastexcel-cache-{UUID}.tmp（Windows）
自动清理
FastExcel 在以下情况会自动删除临时文件：
- 调用 ExcelWriter.close() 时
- JVM 正常退出时
- 可通过 excelWriter.cleanup() 手动强制清理

四、关键优化点

内存控制
- 导出时使用 try-with-resources 确保资源释放
性能提升
- 数据库操作使用批量插入而非单条插入（速度提升 10 倍+）。
- 导出时启用临时文件缓存模式（.inMemory(false)）。
异常处理
- 在监听器中添加事务边界管理，避免长事务问题。
- 导出文件名添加时间戳防重复：fileName + System.currentTimeMillis() + ".xlsx"。