【大模型微调训练与实操】微调 Llama 3 并在本地使用

devtools/2024/9/24 7:38:56/

目标:根据医患对话数据集对 Llama 3 进行微调,创建一个专门针对医疗对话的模型。在合并、转换和量化模型后,它将可以通过 Jan 应用程序供本地私人使用。
在这里插入图片描述

在本教程中,我们将学习如何在医学数据集上微调 Llama 3。我们还将通过 Jan 应用程序将模型转换为可供本地使用的格式。

更具体地说,我们将:

  • 了解 Llama 3 型号。
  • 在医疗数据集上对 Llama 3 模型进行微调。
  • 将适配器与基础模型合并,并将完整模型推送至 Hugging Face Hub。
  • 将模型文件转换为Llama.cpp GGUF格式。
  • 量化GGUF模型并将文件推送至Hugging Face Hub。
  • 在 Jan 应用程序本地使用微调模型。

如果你正在寻找学习 AI 的精选课程,请查看有关AI 基础知识的六门课程技能轨迹。

了解 Llama 3

  1. 微调 Llama 3
  2. 合并 Llama 3
    设置
    将基础模型与适配器合并
    模型推理
    保存并推送合并模型

3.将模型转换为Llama.cpp GGUF
4. 量化GGUF模型
5. 在本地使用微调模型
结论

参考原文:https://www.datacamp.com/tutorial/llama3-fine-tuning-locally


http://www.ppmy.cn/devtools/98506.html

相关文章

算法基础及例题

1、双指针 维护区间信息、子序列匹配、利用序列有序性、单项链表找环双指针 - OI Wiki (oi-wiki.org) 盛最多水的容器https://leetcode.cn/problems/container-with-most-water/ public class Solution {public int maxArea(int[] height) {int l 0, r height.length - 1;int…

如何制作统信UOS启动盘?

如何制作统信UOS启动盘? 一、下载UOS系统安装镜像二、在UOS系统环境下制作启动盘步骤一:准备U盘步骤二:打开启动盘制作工具步骤三:选择ISO镜像文件步骤四:选择安装介质并格式化步骤五:等待制作完成 三、在W…

算法-(383哈希表赎金信)

这道题可以利用哈希表来做。我们首先来了解以下哈希表 哈希表是一种强大的数据结构,因为它能够在平均情况下提供常数时间复杂度的查找、插入和删除操作。这使得它在实现字典、集合以及缓存等场景中非常高效。 主要特点 快速查找:通过哈希函数将键映射到…

Git 的基本概念和使用方式

Git是一种分布式版本控制系统,用于跟踪文件的更改并协同多人开发项目。它具有以下基本概念和使用方式: 仓库(Repository):Git使用仓库来存储项目的文件和历史记录。仓库可以是本地的(在本地计算机上&#x…

T/CECS 10035-2019 绿色建材评价 金属复合装饰材料

一、绿色建材 绿色建材是指在全生命周期内减少对天然资源消耗和减轻对生态环境影响,具有节能、减排、安全、便利和可循环的建材产品,获得绿色产品证书的产品在实际招投标以及品牌宣传中具有绝对优势。 二、认证模式 初始工厂检查产品抽样检验获证后监督…

Nvidia AI 发布 Llama-Minitron 3.1 4B:通过修剪和提炼 Llama 3.1 8B 构建的新语言模型

Nvidia 刚刚发布了语言模型的新版本,不过这次是一个小型语言模型:Llama-3.1-Minitron 4B 模型。这意味着它是语言模型不断发展的重要步骤之一,通过剪枝和知识提炼等尖端技术,将大型模型的效率与小型模型相结合。 Llama-3.1-Minitr…

【ARM 芯片 安全与攻击 5.1 -- 瞬态攻击(Transient Execution Attack)】

文章目录 瞬态攻击(Transient Execution Attack)推测执行攻击乱序执行攻击瞬态攻击在 ARM 中的应用Spectre 攻击在 ARM 中的应用示例防御瞬态攻击的措施硬件层面软件层面Summary瞬态攻击(Transient Execution Attack) 瞬态攻击(Transient Execution Attack)是一种利用现…

qt笔记之qml中的TextEdit、TextInput、TextArea、TextField的区别

qt笔记之qml中的TextEdit、TextInput、TextArea、TextField的区别 code review! 文章目录 qt笔记之qml中的TextEdit、TextInput、TextArea、TextField的区别一.对比二.C环境中类似功能的控件 一.对比 TextEdit、TextInput、TextArea和TextField都是用于文本输入的组件&#…