【#第三期实战营闯关作业##LMDeploy 量化部署进阶实践 】

ops/2024/12/23 5:34:21/

今天学习了《LMDeploy 量化部署进阶实践》一课，，收获很大。以下是记录复现过程及截图：在这里插入图片描述
创建一个名为lmdeploy的conda环境
在这里插入图片描述
创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。在这里插入图片描述

相关包install成功在这里插入图片描述
创建好的conda环境并启动InternLM2_5-7b-chat。这是对话截图
运行InternLM2.5 -20B模型，会发现此时显存占用大约71G：单卡80G-220=40G,400.8=32G,so,（权重）2*20G+32G(cache占用）=72G.
在这里插入图片描述
启动API服务器。后端logo在这里插入图片描述
api的ui
在这里插入图片描述
以Gradio网页形式连接API服务器,输入http://127.0.0.1:6006，然后就可以与模型尽情对话了，就是上面截图。


http://www.ppmy.cn/ops/103281.html

相关文章

【需要学会的Java知识 1】Java的Map增强

【需要学会的Java知识 1】Java的Map增强

使用这些你需要有以下依赖: <dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>${hutool.version}</version></dependency><dependency><groupId>com.google.guava</grou…
阅读更多...
android 离线的方式使用下载到本地的gradle

android 离线的方式使用下载到本地的gradle

1、android studio在下载gradle的时候&#xff0c;特别慢&#xff0c;有的时候会下载不完的情况&#xff0c;这样我们就要离线使用了。 2、下载Gradle Gradle | Releases 或者 Releases gradle/gradle GitHub Gradle | Releases 这里我们下载8.10 complete版本&#xff0c…
阅读更多...
milvus多个Querynode，资源消耗都打在一个节点上

milvus多个Querynode，资源消耗都打在一个节点上

milvus 查询时的原理 当读取数据时&#xff0c;MsgStream对象在以下场景中创建&#xff1a; 在 Milvus 中&#xff0c;数据必须先加载后才能读取。当代理收到数据加载请求时&#xff0c;会将请求发送给查询协调器&#xff0c;查询协调器决定如何将分片分配到不同的查询节点。…
阅读更多...
循环队列 、二叉树

循环队列 、二叉树

1、循环队列 特点&#xff1a;只允许在队尾入队&#xff0c;队头出队&#xff0c;遵循先进先出原则 不能随机访问&#xff0c;不能随机插入 1.1循环队列创建 定义两个指针分别指向队头&#xff0c;队尾。初始化队头&#xff0c;队尾为0&#xff1b; SeqQueue *CreateSeqQueue(…
阅读更多...
python json jsonl 的用法

python json jsonl 的用法

JSON JSON&#xff08;JavaScript Object Notation&#xff09;是一种轻量级的数据交换格式&#xff0c;广泛用于在客户端和服务器之间传输数据。以下是 Python 中使用 JSON 的一些常见用法&#xff1a; 1. 将 Python 对象转换为 JSON 字符串 使用 json.dumps() 函数将 Pyth…
阅读更多...
Python | Leetcode Python题解之第386题字典序排数

Python | Leetcode Python题解之第386题字典序排数

题目&#xff1a; 题解&#xff1a; class Solution:def lexicalOrder(self, n: int) -> List[int]:ans [0] * nnum 1for i in range(n):ans[i] numif num * 10 < n:num * 10else:while num % 10 9 or num 1 > n:num // 10num 1return ans
阅读更多...
C++语法基础（二）

C++语法基础（二）

C复合类型 结构体 1. C的结构&#xff0c;定义结构体类型的变量时&#xff0c;可以省略struct关键字 2. 可以定义成员函数&#xff0c;在结构体中的成员函数内部可以直接访问本结构体的成员&#xff0c;无需通过“.”或“->” 联合 1. C的联合,定义联合体类型的变…
阅读更多...
【Node】m1 mac 使用 nvm 安装 node v14 报错

【Node】m1 mac 使用 nvm 安装 node v14 报错

author: jayzhen date: 20240826 报错内容 nvm 0.39.3macbook m1pro os14.6.1 v8_compiler/deps/v8/src/compiler/backend/instruction-selector.o.d.raw -c In file included from ../deps/v8/src/compiler/backend/frame-elider.cc:5: In file included from ../deps/v8/…
阅读更多...
最新文章

Copyright @ 2022~2023