书生·浦语 大模型(学习笔记-5)XTuner 微调 LLM:1.8B、多模态、Agent

embedded/2024/11/14 18:37:12/

目录

一:两种微调

二、数据的一生

三、微调方案

四、XTuner

五、InternLM2 1.8B模型(相关知识)


一:两种微调

增量与训练和指令微调的区别 

二、数据的一生

原始数据转换为标准格式数据

添加对话模板,直接调用即可,会拼接

三、微调方案

三种加载对比

四、XTuner

五、8GB 显存玩转 LLM

五、InternLM2 1.8B模型(相关知识)

        适合初学者使用

六、多模态LLM

        感觉原理和之前的增量与训练有些相似,具体还没总结出来哪里不太一样

        学完感觉对大模型的理解更近一步


http://www.ppmy.cn/embedded/17280.html

相关文章

Ventus(承影):基于RISC V的开源GPGPU

Ventus(承影):基于RVV的开源GPGPU 清华大学集成电路学院dsp-lab的承影RVV GPGPU设计文档。 整体目标 提供一个开源的基于RVV的GPGPU实现方案,并给出软件映射方案、指令集(支持的指令及特性、添加的自定义指令&#xf…

CSS-vminvmax单位

vmin 和 vmax 单位 vmin 是相对于视口宽度和高度中较小值进行计算,它的值为视口宽度和高度中的较小值的百分比。 例如,如果视口宽度为 800px,高度为 1000px,那么 1vmin 等于 8px(800px 的 1%)。 vmax 是…

李彦宏:程序员将不复存在! 周鸿祎回怼!网友:先把百度程序员都开除了!

近日,百度创始人、董事长兼首席执行官李彦宏在央视《对话》•开年说的访谈中指出:“基本上说以后其实不会存在“程序员”这种职业了,因为只要会说话,人人都会具备程序员的能力”。 “未来的编程语言只会剩下两种,一种…

掌控基础设施,加速 DevOps 之旅:IaC 深度解析

在当今的 DevOps 世界中,基础设施即代码(IaC)是一个非常重要的概念。它在整个行业几乎无处不在,是现代工程角色的绝对关键。 本文将主要包含 IaC 的定义和它的好处,同时将 Walrus 作为最佳实践来进行详细讲解。 什么是…

Solidity Fundamentals

目录 1、修饰符(external、public、internal、private)的区别 2、在智能合约中这四个不同的区别代表的含义this msg block tx 3、self destruct(合约销毁) 1. 什么情况下需要使用合约销毁? 2.用法:sel…

java垃圾回收机制

java垃圾回收机制 我们知道,Java会自动管理和释放内存,它不像C/C那样要求我们手动管理内存,JVM提供了一套全自动的内存管理机制,当一个Java对象不再用到时,JVM会自动将其进行回收并释放内存,那么对象所占内…

linux下 Mysql8.0 离线安装

环境:centos7.9 MysqlL8.0.36安装包 链接:https://pan.baidu.com/s/1bKwHr05z8Ye82dT9tntdUA 提取码:3a5z 参考Centos安装MYSQL8(离线可用) 文章目录 1、解压安装2、配置启动2.1 修改配置文件2.2 mysql 启动 3、mysql 测试 1、解压安装 #…

Pytorch实用教程:nn.Linear内部是如何实现的,从哪里可以看到源码?

文章目录 nn.Linear简介nn.Linear 基本介绍nn.Linear 的参数nn.Linear源码解析查看源码的方法nn.Linear 的核心源码nn.Linear用法的示例代码示例说明示例代码代码解释nn.Linear简介 nn.Linear 是 PyTorch 中非常基础的一个模块,用于实现全连接层。下面我会详细解释它的内部实…