垂类大模型微调(二):使用LLaMA-Factory

devtools/2025/2/26 0:25:06/

       上一篇博文和大家一起安装了LLaMA-Factory工具,并下载了大模型在上面进行了简单的加载和推理,今天尝试通过LoRa技术对大模型进行微调;

一、训练集准备

1.1 介绍训练集结构

       这里演示对Qwen2.5-0.5B-Instruct-GPTQ-Int4模型进行LoRA微调, 大家可以根据垂类大模型微调(一)从魔塔中下载对应模型;目前该工具支持指令监督微调、预训练、偏好训练、多模态训练、KTO等多种模式训练以及 Alpaca 格式和 


http://www.ppmy.cn/devtools/162678.html

相关文章

直播美颜工具架构设计与性能优化实战:美颜SDK集成与实时处理

当下,直播美颜工具的架构设计与性能优化显得尤为重要,尤其是在集成美颜SDK与实时图像处理的过程中。本文将围绕直播美颜工具的架构设计与性能优化展开探讨,分享美颜SDK集成与实时处理的技术实战。 一、直播美颜工具架构设计的核心要素 在直播…

css文本两端对齐

实现样式 实现代码 text-align: justify; text-align-last: justify;

基于Django的手办交易平台~源码

博主介绍:✌程序猿徐师兄、8年大厂程序员经历。全网粉丝15w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇…

Python爬虫selenium验证-中文识别点选+图片验证码案例

1.获取图片 import re import time import ddddocr import requests from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.service import Service from selenium.webdriver.support.wait import WebDriverWait from …

华为动态路由-OSPF-完全末梢区域

华为动态路由-OSPF-完全末梢区域 一、OSPF简介 1、OSPF概述 OSPF是一种开放式的、基于链路状态的内部网关协议(IGP),用于在自治系统内部进行路由选择和通信。 OSPF是互联网工程任务组(IETF)定义的标准之一&#xff…

前端面试题之HTML篇

1.src和href的区别 src用于替换当前元素,href用于在当前文档和引用资源之间确立联系。 src可用于img、input、style、script、iframe---同步加载执行 href可用于link、a---异步 1.用途不同 src 用于引入外部资源,通常是图像、视频、JavaScript 文件等&am…

Docker内存芭蕾:优雅调整容器内存的极限艺术

title: “💾 Docker内存芭蕾:优雅调整容器内存的极限艺术” author: “Cjs” date: “2025-2-23” emoji: “🩰💥📊” 当你的容器变成内存吸血鬼时… 🚀 完美内存编排示范 📜 智能内存管家脚本…

传统的自动化行业的触摸屏和上位机,PLC是否会被取代?

传统的自动化行业的触摸屏和上位机是否会被取代? 在工业自动化领域,触摸屏和上位机长期扮演着核心角色,尤其在污水处理、化工生产等场景中,它们通过实时数据采集、逻辑控制、报警联动等功能,保障了生产设备的稳定运行…