大模型微调--文章1

devtools/2024/9/22 15:54:48/

原文地址 

链接:https://zhuanlan.zhihu.com/p/635152813

思考题

问题1:self attention对于计算的并行性体现在哪里?(解决)

答案: 1.矩阵运算的并行性 2.多头注意力的并行性 3.无序列依赖性(写一个序列进行分词,转化为token,embedding,然后计算QK^T就能看出来了);

问题2:表示子空间是什么意思?(解决)

答案: 这个其实很容易理解,就是不同的注意力头可以学习到序列的不同的特征,将不同的特征综合起来就是这个多头注意力学习到的特征了;

问题3:transformer结构怎么进行更好地并行训练?(解决)

答案:3.1:self-attention计算注意力的时候是并行计算的;
3.2:层并行化,Transformer的不同层放到不同的GPU上进行并行处理;
3.3:数据并行化:将数据切分为一定大小的batch;
等等

问题4:什么是灾难性遗忘?(解决)

答案:灾难性遗忘就是在学习了新的知识之后,会把之前旧的知识遗忘,这主要是因为权重更新的冲突,也是全量微调的一个弊端;

问题5:高效微调技术可以粗略分为以下三大类:增加额外参数(A)、选取一部分参数更新(S)、引入重参数化(R)。在这段话中,什么是重参数化?(未解决)

答案:简单来说就是低秩分解类似的,还没有更深的理解;

问题6:全量微调和重新预训练有什么区别?(解决)

答案:全量微调是用预训练的大模型对新的任务进行全部参数的微调,而重新预训练是重新准备大型数据集对预训练的大模型进行再次预训练

问题7:文章1主要讲了什么内容?结构是什么样的?有什么认知性的启发性收获? (这一章不用出动手题)(解决)

答案:讲解一下为什么要做高效的参数微调,高效的参数微调和全参微调的对比,以及高效的参数微调的方法有哪些(问题5),没有什么认知上的启发性收获。


http://www.ppmy.cn/devtools/95323.html

相关文章

snowflake 跨 region sharing

在现代数据管理和分析领域,Snowflake凭借其独特的多云数据平台优势,成为许多企业的数据解决方案首选。Snowflake的跨区域(cross-region)数据共享功能是其重要特性之一,能够让企业在全球不同地理位置之间无缝共享数据。…

记事本打不开(保姆级教程)

问题可能是这样的: 1. 应用程序故障:记事本程序可能遇到了临时的应用程序故障或错误。 2. 系统文件损坏:系统文件损坏或丢失可能导致记事本无法正常启动。 3. 注册表问题:注册表中的条目错误或缺失可能影响记事本的加载。 4. 输入…

vue 关于两个if条件中的promise

一、案例效果 期望if判断条件里的两个promise 都同时执行完成 二、 初始代码案例 const formatDetail async (fnArgsJsonParams: MapLogicType) > {if (fnArgsJsonParams?.targetFeatureName) {const resDetailData await formatFeatureInfo(fnArgsJsonParams.targetF…

QT:QTableWidget 设置单元格边距

在 Qt 的 QTableWidget 中,直接设置单元格(QTableWidgetItem)内容的边距(padding)并不是直接支持的。QTableWidgetItem 主要是用来存储和显示文本、图标等内容的,但它不提供直接设置内容边距的API。 不过&…

Java基础 文字小游戏

souf System.out.printf("你好啊%s","张三") 输出你好啊张三 System.out.printn()放在中间可以换行 System.out.printf("%s你好啊%s","张三","李四") 输出 张三你好啊李四 只有输出没有换行效果。 制作一个文字小游戏…

精度±0.1g火试金自动化系统中的失重秤如何为冶金行业带来革命性提升

火试金自动化系统中的失重秤计量配料(高精度误差0.1g)如何为冶金行业带来革命性提升! 在现代冶金和矿物处理领域,精确度是确保最终产品质量和一致性的关键因素。为了满足这一需求,火试金自动化系统中的失重秤技术脱颖而…

Unity教程(十)Tile Palette搭建平台关卡

Unity开发2D类银河恶魔城游戏学习笔记 Unity教程(零)Unity和VS的使用相关内容 Unity教程(一)开始学习状态机 Unity教程(二)角色移动的实现 Unity教程(三)角色跳跃的实现 Unity教程&…

Spring Boot整合Drools入门:实现订单积分规则

文章目录 项目结构Maven配置配置Drools订单实体类订单积分规则测试规则总结 在开发过程中,我们经常遇到需要根据业务规则来进行决策的场景。比如,电商平台可能需要根据订单金额为用户添加相应的积分。为了灵活地处理这些业务规则,我们可以借助…