五一假期Llama 3之魔改不完全攻略(Part 2)

news/2024/11/17 19:24:31/

2024年4月18日,Meta AI 正式宣布推出 Llama 3,这标志着开源大型语言模型(LLM)领域的又一重大进步。如同一颗重磅炸弹, Llama 3 以其卓越的性能和广泛的应用前景,预示着 AI 技术的新时代。

目前开源的是Llama3 8B 和 70B,趁着五一小长假,别人在外人从众,我在家偷偷魔改Llama3

一、魔改目标

把原来Meta AI 研发的Llama 3训练成本人自己的大模型,让他拥有对主人我的认知。

二、魔改工具

使用全链路开发工具。

三、开始魔改

1、下载工具Xtuner

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

2、准备数据 

用python脚本生产训练数据,格式如下:

[{"conversation": [{"system": "你是一个懂中文的小助手","input": "你是(请用中文回答)","output": "您好,我是Jin's AI,一个由Jin 打造的人工智能助手,请问有什么可以帮助您的吗?"}]},{"conversation": [{"system": "你是一个懂中文的小助手","input": "Who are you(请用中文回答)","output": "您好,我是Jin's AI,一个由Jin 打造的人工智能助手,请问有什么可以帮助您的吗?"}]}
]

3、开始训练

xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir /root/llama3_pth

4、转换格式

xtuner convert pth_to_hf /root/llama3_pth/llama3_8b_instruct_qlora_assistant.py \/root/llama3_pth/iter_500.pth \/root/llama3_hf_adapter

5、合并Adapter

export MKL_SERVICE_FORCE_INTEL=1
xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \/root/llama3_hf_adapter\/root/llama3_hf_merged

四、见证奇迹

现在开始教Llama3做人了,哈哈哈,“指鹿为马”

streamlit run ~/Llama3-XTuner-CN/tools/internstudio_web_demo.py \/root/llama3_hf_merged

魔改前Llama3对自己的认知,“一派胡言”

魔改后小样终于知道自己姓啥名谁了,“态度端正”


http://www.ppmy.cn/news/1451197.html

相关文章

java之for循环

java的for循环和c语言的for循环很相似&#xff0c;语法格式是 for(初始化条件;循环条件;操作表达式;) { 执行语句 } 比如说下面的代码 public static void main(String[] args) {int sum0;for(int i1;i<4;i){sumi;}System.out.println("sum"sum);int a0;int…

【ZZULIOJ】1095: 时间间隔(函数专题)(Java)

目录 题目描述 输入 输出 样例输入 Copy 样例输出 Copy 提示 code 题目描述 从键盘输入两个时间点(24小时制&#xff09;&#xff0c;输出两个时间点之间的时间间隔&#xff0c;时间间隔用“小时:分钟:秒”表示。要求程序定义如下两个函数&#xff0c;并在main()中调用…

美国站群服务器上常见的操作系统选择指南

美国站群服务器上常见的操作系统选择指南 美国站群服务器的选择操作系统对于服务器的性能和功能至关重要。本文将为您介绍在美国站群服务器上常见的操作系统选择指南&#xff0c;以帮助您做出明智的决策。 在选择美国站群服务器时&#xff0c;选择合适的操作系统是至关重要的…

Go中为什么不建议用锁?

Go语言中是不建议用锁&#xff0c;而是用通道Channel来代替(不要通过共享内存来通信&#xff0c;而通过通信来共享内存)&#xff0c;当然锁也是可以用&#xff0c;锁是防止同一时刻多个goroutine操作同一个资源&#xff1b; GO语言中&#xff0c;要传递某个数据给另一个gorout…

《原则》生活和工作 - 三余书屋 3ysw.net

原则&#xff1a;生活和工作 您好&#xff0c;今天我们解读的书是《原则&#xff1a;生活和工作》。这本书和我们之前解读过的《原则&#xff1a;应对变化中的世界秩序》是同一个作者写的。那本书的主题非常宏大&#xff0c;它讨论的是世界运行的原则。而今天我们聊的《原则&a…

苹果CEO对未来一代人工智能投资持乐观态度

尽管在动荡的第二季度&#xff0c;苹果的收入和iPhone销量有所下降&#xff0c;但其新兴的人工智能技术可能会带来急需的提振。 在5月2日的电话财报会议上&#xff0c;苹果公布季度收入为908亿美元&#xff0c;比去年下降4%。iPhone的收入也下降了10%&#xff0c;至460亿美元。…

【牛客网】排列计算

原题链接&#xff1a;登录—专业IT笔试面试备考平台_牛客网 目录 1. 题目描述 2. 思路分析 3. 代码实现 1. 题目描述 2. 思路分析 如果直接涂色来计算单点权重&#xff0c;2e5*2e5必然超时。 所以用差分进行优化。 3. 代码实现 #include<bits/stdc.h> using name…

渐变色如何做移入效果?

今天&#xff0c;我们ui设计出来的按钮都是渐变色的&#xff0c;移入效果有点烦&#xff0c;记录一下&#xff0c;说实话&#xff0c;就这个移入效果我想了近半小时。 分享一下&#xff0c;慢慢填充颜色的感觉 .button {position: relative;overflow: hidden;z-index: 1;&…