`FisherTrainer` 的自定义 `Trainer` 类:累积梯度的平方并求平均来近似计算 Fisher 信息矩阵

ops/2025/3/19 5:01:02/

FisherTrainer 的自定义 Trainer 类:累积梯度的平方并求平均来近似计算 Fisher 信息矩阵

用于计算模型参数的 Fisher 信息矩阵的近似值

整体目标

Fisher 信息矩阵用于衡量模型参数的不确定性,其在优化问题中可以帮助我们更准确地更新模型参数,避免陷入局部最优。在代码中,我们通过累积梯度的平方并求平均来近似计算 Fisher 信息矩阵

代码各部分数学原理分析

1. 初始化部分
self.gradient_squared_sum = {name: torch.zeros_like(param)

http://www.ppmy.cn/ops/166947.html

相关文章

基于Vue实现Echarts的平滑曲线

在Vue2.x的项目中使用echarts实现如下效果 安装echarts npm install echarts --save组件引入echarts // 在你的Vue组件中 import * as echarts from echarts;在模板中添加一个div元素&#xff0c;用来放置图表 <divref"chart"class"chart"style"…

vue事件处理参数中,既想传 event事件对像,又想传自定义形参的解决

当我们在的事件处理函数中&#xff0c;如果绑定是不加参数&#xff0c; 就可以在使用时得到 event 对像&#xff0c;如下图 <view name"aaa" click"gotochange"></view><script> const gotochange (e)>{console.log(e)//此时的 绑定…

鸿蒙初级考试备忘

Module类型 Module按照使用场景可以分为两种类型&#xff1a; Ability类型的Module&#xff1a; 用于实现应用的功能和特性。每一个Ability类型的Module编译后&#xff0c;会生成一个以.hap为后缀的文件&#xff0c;我们称其为HAP&#xff08;Harmony Ability Package&#x…

如何保证消息不被重复消费?(如何保证消息消费的幂等性)

面试题 如何保证消息不被重复消费&#xff1f;或者说&#xff0c;如何保证消息消费的幂等性&#xff1f; 面试官心理分析 其实这是很常见的一个问题&#xff0c;这俩问题基本可以连起来问。既然是消费消息&#xff0c;那肯定要考虑会不会重复消费&#xff1f;能不能避免重复…

第二十六篇 让SQL起飞:SQL优化与需求改写实战手册

目录 一、别想太多&#xff01;砍掉多余需求才是王道生活案例&#xff1a;点外卖时&#xff0c;你会先选“附近3公里”再筛选“评分4.5”吗&#xff1f; 二、真假美猴王&#xff01;这些SQL写法你分得清吗&#xff1f;场景1&#xff1a;查未下单用户&#xff08;IN vs EXISTS v…

使用 Redis 实现接口缓存:提升性能的完整指南

1. 为什么需要接口缓存&#xff1f; 接口缓存的主要目的是减少重复计算和数据库查询&#xff0c;从而提升性能。常见场景包括&#xff1a; • 高并发请求&#xff1a;缓存热门数据&#xff0c;避免频繁访问数据库。 • 复杂计算&#xff1a;缓存计算结果&#xff0c;减少 CPU …

【C++11】深入浅出 std::async

【C11】深入浅出 std::async 一、基本用法 c11中增加了线程&#xff0c;使得我们可以非常方便的创建线程&#xff0c;它的基本用法是这样的&#xff1a; void f(int n); std::thread t(f, n 1); t.join();但是线程毕竟是属于比较低层次的东西&#xff0c;有时候使用有些不便…

机器学习在科研领域的应用与未来趋势:机器学习第一性原理+分子动力学

“机器学习”这个词听起来很高大上&#xff0c;但其实概念很简单&#xff1a;让机器像人一样学习。 机器学习的核心是它的自学习能力&#xff0c;能通过训练从数据中发现规律&#xff0c;为各种科学问题提供创新解决方案。 本文较长&#xff0c;建议先收藏后随时查看&#xff0…