微调大模型-2-Qwen基座模型使用

embedded/2024/10/25 4:20:43/
aidu_pl">
下载Qwen源码

Qwen作为中文支持非常nice的模型,很适合用于LLM学习。在云服务器里clone Qwen工程。

git clone https://github.com/QwenLM/Qwen2.5.git

在这里插入图片描述
在这里插入图片描述
原始模型使用主要基于cli_demo.py-命令行调用,web_demo.py-网页调用。
预览这两个文件时,VC提示下载Python扩展,为了方便运行和调试Python代码,点击安装。
在这里插入图片描述

安装transformers

运行cli_demo.py时,提示缺少transformers模块,此模块便是LLM最基础的原理,ChatGPT等都是基于此原理架构实现的。在这里插入图片描述
查看Qwen的Readme:https://qwen.readthedocs.io/zh-cn/latest/getting_started/quickstart.html
里面有安装transformers的指令:
在这里插入图片描述
命令行输入:

pip install transformers -U
下载Qwen基座模型

安装transformers后再次运行cli_demo.py,提示没有找到模型文件。
在这里插入图片描述
模型文件可以从小黄脸(huggingface)或者魔搭社区下载,HF是全球最活跃的LLM社区,不过需要魔法访问,没魔法的可在魔搭下载。这里以魔搭:https://www.modelscope.cn/
举例
在这里插入图片描述
经过简单的注册后,选择模型库,输入qwen2.5,在下方找到Qwen2.5-7B-Instruct,点击进入。
注意:Qwen2.5-7B为更原始的基座模型,带有Instruct的为提升对话再次训练的。
在这里插入图片描述
在这里插入图片描述如图,这几个safetensors文件便是基座文件。
safetensors 文件格式是由 Hugging Face 创建的,但它并不局限于他们的工具链。理论上,它可以在任何支持的机器学习框架下使用,包括 PyTorch、TensorFlow 等。
在这里插入图片描述
点击下载模型,会有相关方法:
在这里插入图片描述
选择第一种从Python代码下载。
在demo文件夹下创建download.py文件,复制下载源码:
在这里插入图片描述
运行Python,报错缺少modelscope模块,pip安装即可。
再次运行,经过10分钟左右的下载,得到模型文件:
在这里插入图片描述

命令行运行模型

还是先测试命令行模式运行,将模型路径修改到DEFAULT_CKPT_PATH:
在这里插入图片描述
运行代码,会提示缺少accelerate加速库,pip安装,再次运行,成功进入命令行模式:
在这里插入图片描述
在这里插入图片描述

网页运行模型

在这里插入图片描述
同理修改DEFAULT_CKPT_PATH为模型路径,然后运行,提示缺少gradio库,pip安装后,运行web_demo.py,成功后网页进入8000端口:
在这里插入图片描述


http://www.ppmy.cn/embedded/132236.html

相关文章

Android音视频 MediaCodec框架-创建流程(3)

Android音视频 MediaCodec框架-创建流程 简述 之前我们介绍并且演示了MediaCodec的接口使用方法,我们这一节来看一下MediaCodec进行编解码的创建流程。 java层的MediaCodec只是提供接口,实际的逻辑是通过jni层实现的,java层的MediaCodec通过…

1024程序员节- AI智能时代,码出未来

在 1024 程序员节这个特殊的日子里,探讨了 AI 技术在不同领域的应用与发展。上海和深圳作为科技创新的前沿阵地,相关活动中的演讲内容更是聚焦了 AI 技术的核心要点,为我们展示了 AI 时代的新趋势和新机遇。 一、AI 技术的发展历程与背景 AI…

python支付宝支付和回调

创建支付订单 logging.basicConfig(levellogging.INFO,format%(asctime)s %(levelname)s %(message)s,filemodea,) logger logging.getLogger()if __name__ __main__:"""设置配置,包括支付宝网关地址、app_id、应用私钥、支付宝公钥等&#xff0c…

【优选算法篇】在分割中追寻秩序:二分查找的智慧轨迹

文章目录 C 二分查找详解:基础题解与思维分析前言第一章:热身练习1.1 二分查找基本实现解题思路图解分析C代码实现易错点提示代码解读 1.2 在排序数组中查找元素的第一个和最后一个位置解题思路1.2.1 查找左边界算法步骤:图解分析C代码实现 1…

3.1.1ReactOS系统中搜索给定长度的空间地址区间函数的实现

系列文章目录 //搜索给定长度的空间地址区间 MmFindGap(); PMADDRESS_SPACE AddressSpace,//该进程用户空间 ULONG_PTR Length,//寻找的空间间隔大小 ULONG_PTR Granularity,//粒度位,表明空间起点的对齐要求,注意是起…

时序数据库 TDengine 支持集成开源的物联网平台 ThingsBoard

Thingsboard 中“设备配置”和“设备”的关系是一对多的关系,通过设备配置为每个设备设置不同的配置,每个设备都会有一个与其关联的设备配置文件。等等,这不就是TDengine 中超级表的概念: 超级表是一种特殊的表结构,用…

针对 el-date picker pickerOptions 快捷选项的超级方法

提供快捷的配置,支持原子组合,高级用法支持用户自定义配置项 demo import { generateShortCuts } from ./date-shortcuts.js ... pickerOptions: {shortcuts: generateShortCuts({type: day}) } ...date-shortcuts 文件 import moment from moment // …

vue使用 jsplumb 生成流程图

1、安装jsPlumb: npm install jsplumb 2、 在使用的 .vue 文件中引入 import { jsPlumb } from "jsplumb"; 简单示例: 注意:注意看 id 为"item-3"和"item-9"那条数据的连线配置 其中有几个小图片&#x…