数据库查询大量数据避免内存溢出的方法

news/2024/9/18 12:53:41/ 标签: 数据库, java, 开发语言

原理就是分批查询。每次查询一定数量数据之后记录id,进行数据处理之后再继续查询继续处理,

java">allFrameObject = mapper.findAllFrameObjectByMaxId(minTime, beginRow, 1000);
while (CollectionUtils.isNotEmpty(allFrameObject)) {beginRow = allFrameObject.get(allFrameObject.size() - 1).getId() + 1;addTicketAndStateReport(allFrameObject, reports);allFrameObject = mapper.findAllFrameObjectByMaxId(minTime, beginRow, 1000);}
<select id="findAllFrameObjectByMaxId" resultMap="frameObjectData">select * FROM gsms_frame_object_datawhere id &gt;= #{beginRow} <if test="beforeDay!=null">and CREATE_TIME &gt; #{beforeDay} </if>order byidlimit #{batchSize}
</select>

http://www.ppmy.cn/news/1516588.html

相关文章

如何构建小学至大学素质评价档案系统 —— php Vue 实践指南

&#x1f34a;作者&#xff1a;计算机毕设匠心工作室 &#x1f34a;简介&#xff1a;毕业后就一直专业从事计算机软件程序开发&#xff0c;至今也有8年工作经验。擅长Java、Python、微信小程序、安卓、大数据、PHP、.NET|C#、Golang等。 擅长&#xff1a;按照需求定制化开发项目…

GPIO(通用输入/输出)、中断(hal库)

目录 GPIO&#xff08;通用输入/输出)&#xff08;hal库&#xff09; GPIO工作模式 推挽输出&#xff08;Push-Pull Output&#xff09; 开漏输出&#xff08;Open-Drain Output&#xff09; 复用推挽输出&#xff08;Alternate Function Push-Pull Output&#xff09; 复…

金融涉案账户压降行动的实施成效与挑战

2024年上半年我国出台了关于金融行业相关管理办法 1 - 5 号令&#xff0c;不断完善相关法律法规&#xff0c;加强对欺诈行为的打击力度。加强了对互联网企业的监管力度&#xff0c;要求企业加强内部管理&#xff0c;建立健全用户信息保护机制&#xff0c;防止用户信息泄露和被滥…

Lora微调训练参数解读

前言 通过前面两次微调训练欺诈文本分类微调&#xff08;六&#xff09;&#xff1a;Lora单卡和欺诈文本分类微调&#xff08;七&#xff09;—— lora单卡二次调优&#xff0c;我们已经初步理解了微调的整个过程&#xff0c;里面涉及到不少的参数配置&#xff0c;这篇文章就对…

redis面试(二十三)写锁释放

先加了写锁&#xff0c;后面再次加写锁或者读锁 anyLock: { “mode”: “write”, “UUID_01:threadId_01:write”: 2, “UUID_01:threadId_01”: 1 } 写锁的释放lua脚本在这里 RedissonWriteLock.unlockInnerAsync() 比如说现在的参数是这 KEYS[1] anyLock KEYS[2] redi…

卖旧电脑前怎么彻底清除数据?卖旧电脑不留隐患

在科技日新月异的今天&#xff0c;电脑已成为我们日常生活和工作中不可或缺的工具。然而&#xff0c;随着技术的不断进步&#xff0c;我们可能会考虑更换新的电脑设备&#xff0c;而将旧的电脑出售或转让。 在卖旧电脑前&#xff0c;彻底清除电脑中的数据至关重要&#xff0c;…

leetcode46:全排列

全排列 给定一个不含重复数字的数组 nums &#xff0c;返回其 所有可能的全排列 。你可以 按任意顺序 返回答案。 List<List<Integer>> list new ArrayList<>();public List<List<Integer>> permute(int[] nums) {LinkedList<Integer> …

Shader 中的渲染顺序

1、深度测试和深度写入 有了深度测试和深度写入发挥作用让我们不需要关心不透明物体的渲染顺序比如一个物体A 挡住了 物体B&#xff0c;即使底层逻辑中 先渲染A&#xff0c;后渲染B&#xff0c;我们也不用担心 B的颜色会把A覆盖&#xff0c;因为在进行深度测试时&#xff0c;远…

Java-BatchProcessingUtil结合CompletableFuture工具类

为了结合批处理与 CompletableFuture 并使用自定义线程池,我们可以创建一个功能全面的工具类 BatchProcessingUtil。这个工具类将支持以下功能: 批处理遍历列表中的每个元素。 使用自定义线程池执行批处理任务。 返回一个 CompletableFuture 对象以支持异步回调和结果处理…

BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs

Abstract 我们提出了BlazeFace&#xff0c;这是一种轻量级且性能优异的面部检测器&#xff0c;专为移动GPU推理而设计。它在旗舰设备上运行速度可达200到1000 FPS。这种超实时性能使其能够应用于任何增强现实管道中&#xff0c;作为任务特定模型的输入来准确识别面部感兴趣区域…

从数据生成到图数据库:Linux下Neo4j的CSV导入

文章目录 简介找到import文件夹准备csv表格数据导入neo4jTeacherStudent 简介 介绍如何在Linux系统中设置和使用Neo4j数据库。 首先&#xff0c;找到Neo4j的import文件夹&#xff0c;通常位于Neo4j安装目录下的data文件夹内&#xff0c;并展示通过neo4j.conf配置文件查找和修…

MySQL 数据库的规范化与反规范化详解

在数据库设计中&#xff0c;规范化&#xff08;Normalization&#xff09;和反规范化&#xff08;Denormalization&#xff09;是两个重要的概念&#xff0c;它们直接影响数据的存储效率、数据一致性以及查询性能。本文将详细介绍 MySQL 中的第一范式、第二范式和第三范式&…

qt圆环饼状图,非常小的窗口都能显示

非常小的窗口都能显示 QT core gui charts#include <QtCharts> using namespace QtCharts;//创建饼状图 void MainWindow::createpieSewies() {//饼状图QPieSeries * my_pieSeries new QPieSeries();//中间圆与大圆的比例my_pieSeries->setHoleSize(0.35);//…

Python知识点:如何使用PostgreSQL与Psycopg2进行数据库操作

要使用PostgreSQL与Psycopg2进行数据库操作&#xff0c;首先需要确保你的环境中已经安装了PostgreSQL和Psycopg2库。以下是一个简单的指南&#xff0c;展示如何使用Psycopg2与PostgreSQL进行连接和执行基本的数据库操作。 1. 安装Psycopg2 如果你还没有安装Psycopg2&#xff…

【SQL基础】【leetcode】SQL50题

查询 &#xff08;1&#xff09;可回收且低脂的产品 题目链接 SELECT product_id FROM Products WHERE low_fatsY AND recyclableY;很简单&#xff0c;最基础的sql语句。 &#xff08;2&#xff09;寻找用户推荐人 题目链接 SELECT name FROM Customer WHERE referee_id …

嵌入式面经篇十——驱动开发

文章目录 前言一、驱动开发1、Linux 驱动程序的功能是什么?2、内核程序中申请内存使用什么函数?3、内核程序中申请内存和应用程序时申请内存有什么区别?4、自旋锁和信号量在互斥使用时需要注意什么?在中断服务程序里面的互斥是使用自旋锁还是信号量?5、驱动卸载异常可能是…

了解一下 CSS 的了解font-variant-alternates属性

font-variant-alternates 是 CSS Fonts 模块中的一个属性&#xff0c;它允许你控制字体的变体&#xff08;variants&#xff09;和替代字形&#xff08;alternate glyphs&#xff09;的显示。这个属性提供了比 font-variant 更细粒度的控制&#xff0c;特别是当字体包含多种样式…

计算机毕业设计hadoop++hive微博舆情预测 微博舆情分析 微博推荐系统 微博预警系统 微博数据分析可视化大屏 微博情感分析 微博爬虫 知识图谱

1.selenium爬取微博热搜、文章、评论数据存入mysql数据库&#xff0c;对评论lstm情感分析模型建模分析; 2.使用mapreduce对mysql中微博数据清洗&#xff0c;转为.csv文件上传hdfs文件系统&#xff1b; 3.使用hive建库建表,导入.csv数据集&#xff1b; 4.一半指标hive_sql进行离…

代码随想录算法训练营第三十九天 | 198.打家劫舍 , 213.打家劫舍II , 337.打家劫舍III

目录 198.打家劫舍 思路 1.确定dp数组&#xff08;dp table&#xff09;以及下标的含义 2.确定递推公式 3.dp数组如何初始化 4.确定遍历顺序 5.举例推导dp数组 方法一&#xff1a; 动态规划-一维 方法二&#xff1a;动态规划-二维 方法三&#xff1a;动态规划-两个变…

JVM上篇:内存与垃圾回收篇-07-方法区

笔记来源&#xff1a;尚硅谷 JVM 全套教程&#xff0c;百万播放&#xff0c;全网巅峰&#xff08;宋红康详解 java 虚拟机&#xff09; 文章目录 7. 方法区7.1. 栈、堆、方法区的交互关系7.2. 方法区的理解7.2.1. 方法区在哪里&#xff1f;7.2.2. 方法区的基本理解7.2.3. HotSp…