DataWhale AI夏令营 大模型微调Task1笔记

devtools/2024/9/23 10:24:49/

日期: 2024年8月11日

报名参加挑战赛。

理解挑战赛的任务和流程。

基于讯飞大模型定制训练平台和spark-13b微调模型,生成高考语文现代文阅读和英语阅读问题QA对

学习过程:

Step 1: 报名赛事

访问赛事链接并完成报名。

完成个人认证。

Step 2: 运行 Baseline: 数据处理

运行代码得到output.jsonl 文件

下载 output.jsonl 文件。

然后在讯飞平台进行大模型训练。

  • 启动环境并运行代码。
  • 模型的输出如下

学习心得:
  • 在报名过程中,我注意到赛事的官方页面提供了详细的指导步骤,这对于初次接触此类竞赛的新手来说非常友好。
  • 数据处理的代码运行非常顺畅,即使对于没有编程经验的人来说也很容易操作。
  • 通过下载 output.jsonl 文件,我对数据处理有了初步的认识。虽然还没有深入了解代码细节,但是已经能够感受到数据准备的重要性。
  • 熟悉了大模型微调的步骤,知道了数据的重要性

遇到的问题

prompt撰写不熟练,大模型训练步骤不熟练

总结

我熟悉了大模型的微调步骤,尝试撰写训练集以及数据



http://www.ppmy.cn/devtools/92009.html

相关文章

css rem之2024

话题开始前 我们都知道1rem是等于html fontSize标签的字体大小的,我们主要用来做移动端网页设计稿等比例在手机上面的显示。 看到的问题 这个html fontsize的大小是通过js动态计算的,而这个js的运行时晚于html渲染的,所以会导致一个问题&am…

Redis与Memorycache的区别

Redis与Memorycache主要是持久线程和持久化的区别 1、从性能方面来说: Redis是单线程的,优点是CPU开销小,省去多线程线程之间切换的开销,但是相对于Memorycache来说海量数据的相对较低 Memorycache使用了多线程技术,数…

【数据结构】线性表,顺序表

一. 线性表 1. 线性表(linear list)是n个具有相同特性的数据元素的有限序列。 2. 线性表是一种在实际中广泛使用的数据结构,常见的线性表:顺序表、链表、栈、队列、字符串... 3. 线性表在逻辑上是线性结构,也就说是连续的一条直线。但是在物理…

提高PDF电子书的分辨率

解决方法出处 1. 安装ImageMagick brew install imagemagick brew install ghostscript2. 按流程进行 convert -density 600 your_pdf_filename.pdf output-%02d.jpg convert output*.jpg -normalize -threshold 80% final-%02d.jpg convert final*.jpg my_new_highcontras…

【openwrt-21.02】T750分区介绍及新增分区说明

MediaTek T750 T750 采用先进的 7nm 制程,高度集成 5G 调制解调器和四核 Arm CPU,提供较强的功能和配置,设备制造商得以打造精巧的高性能 CPE 产品,如固定无线接入(FWA)路由器和移动热点。 MediaTek T750 平台是一款综合的芯片组,集成了 5G SoC MT6890、12nm 制程…

leetcode hot 100(2)

文章目录 leetcode hot 100(2)图论回溯二分查找栈堆贪心算法动态规划多维动态规划技巧 leetcode hot 100(2) 图论 200. 岛屿数量 - 力扣(LeetCode):从所有为1的位置出发,进行dfs或者bfs。将遍历过的位置赋值为2就好,…

基于Django的图书管理系统【万能模板框架可调整增加】

文章目录 有需要本项目的代码或文档以及全部资源,或者部署调试可以私信博主框架介绍项目框架每文一语 有需要本项目的代码或文档以及全部资源,或者部署调试可以私信博主 框架介绍 Django是一个用于快速开发Web应用程序的高级Python开源框架。它遵循MVC…

Vivado功耗评估工具概览

目录 一、功耗评估 二、Xilinx Power Estimator (XPE) 三、Power Design Manager (PDM) 3.1 PDM的特点如下 3.2 下载与安装 四、Report Power 五、参考资料 一、功耗评估 在设计中功耗评估是一项十分重要的工作,评估必然离不开估算工具。赛灵思提供了 2 种类…