【学习心得】算力云平台上的大模型部署并实现远程调用

devtools/2024/11/20 13:45:33/

以AutoDL算力云平台为例,部署国产开源ChatGLM3b模型。

一、准备工作

(1)准备一台算力服务器

首先,进入AutoDL官网的算力时长选择算力服务器资源。

创建好后会自动跳转控制台的“容器实例”界面,稍等片刻后选择“快捷工具 > JupyterLab”开始部署。

通过jupyter lab的形式远程访问算力服务器后点击“终端”。

(2)准备开源大模型的部署环境 

你想部署哪个大模型就事先去GitHub或者Hugging face找到代码仓库,然后在终端中克隆项目,本文以ChatGLM3为例。

THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型icon-default.png?t=O83Ahttps://github.com/THUDM/ChatGLM3

如果你按照本文的方式,通过Github来进拉取项目的话,还必须开启一下学术资源加速。输入命令开启学术资源加速(此方法只能用在AutoDL中)

 

在终端中输入命令进行项目克隆。

# 开启学术加速
source /etc/network_turbo# 克隆ChatGLM3的项目仓库
git clone https://github.com/THUDM/ChatGLM3.git# 关闭学术加速
unset http_proxy && unset https_proxy

使用conda命令来创建一个虚拟环境。

conda create -n glm3_env python=3.10

创建虚拟环境成功,记得先初始化conda再激活进入虚拟环境。

# 初始化conda
conda init# 进入刚刚创建好的虚拟环境
conda activate glm3_env

进入项目路径后,更新一下python的pip包,为安装requirements.txt中的环境依赖库做准备。

# 进入ChatGLM3大模型的项目路径
cd ChatGLM3/# 更新一下pip包
pip install --upgrade pip

输入命令安装所需的库,这个过程比较久有很多的东西需要下载,耐心等待。

pip install -r requirements.txt

如果安装环境依赖包的过程中失败了,重新执行一次上面这个命令就好。 

二、下载模型

我们把大模型下载到指定的位置,比如autodl-tmp路径下。所以先进入这个路径,然后更新一下apt软件包管理工具,并下载git-lfs扩展。

AutoDL的目录名称速度说明
/系统盘一般实例关机数据不会丢失,可存放代码等。会随保存镜像一起保存。
/root/autodl-tmp数据盘实例关机数据不会丢失,可存放读写IO要求高的数据。但不会随保存镜像一起保存(所以我们把模型下载到这里面)
# 进入想要存放下载下来的大模型的路径中
cd /root/autodl-tmp# 更新apt软件包
sudo apt update# 更新软件包的目的是为了下载安装git-lfs
sudo apt-get install git-lfs

补充说明一下什么是git-lfs?Git Large File Storage (LFS) 是一个 Git 扩展,用于管理大文件,如图像、视频、大型数据集、二进制文件等(在本文中就是GLM3模型)。这些文件通常不适合直接存储在 Git 仓库中,因为它们会导致仓库变得非常庞大,影响性能和版本控制的效率。Git LFS 通过将大文件的实际内容存储在远程服务器上,而在本地仓库中只保留指向这些文件的指针,从而解决了这些问题。

之前我们去了国外的github去下载ChatGLM3的项目路径需要打开学术资源加速,现在我们去下载ChatGLM模型,如果是从hugging face上下载,那么也许要打开学术资源加速。但我现在演示去魔塔社区下载,因此就不需要加速了。直接输入命令进行模型下载。

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

 进入刚刚git clone过来的chatglm3-6b目录中,使用git lfs pull命令拉取模型文件。

# 进入模型存放路径
cd /root/autodl-tmp/chatglm3-6b# 下载模型
git lfs pull

然后就是耐心等待模型下载完成。

三、验证模型是否部署成功

ChatGLM3的项目仓库中自带了demo文件可以帮助开发者快速测试一下模型是否部署成功。我只需要找到对应文件夹下的demo文件执行即可。

(1)命令行CLI测试

# 进入存放demo的路径下
cd /root/ChatGLM3/basic_demo

 将cli_demo.py代码中的模型路径换成刚刚自己下载保存模型的路径。

在终端运行命令启动cli_demo.py测试模型是否部署成功。

# 在cli_demo.py文件所在路径下执行命令
python cli_demo.py

 

如果你模型下载不完整,命令行就会下面这个错误:

safetensors_rust.SafetensorError: Error while deserializing header: MetadataIncompleteBuffer

此时可以输入命令检查一下文件完整性。

# 星号 * 表示文件已经下载到本地,没有星号表示文件尚未下载。
git lfs ls-files

【注】有两个模型没有下载成功,怎么办呢?使用 git lfs fetch命令可以重新下载没有下成功的模型。如果还是无法下载的话,就直接删掉chatglm3-6b文件夹,重新克隆。

git lfs fetch origin model-00001-of-00007.safetensors

 那我这里出现的问题是数据盘空间用完了,所以还得先去扩容,扩容后需要重启实例才能生效,然后再去执行上面的命令。

 

 

重新克隆下载模型后检查文件完整性终于没问题了! 

(2)WebUI测试

我们找到指定的demo文件,通过命令启动。这里比cli_demo麻烦一点的是需要做一下ssh端口映射。

补充说明一下SSH的知识点:

SSH(Secure Shell)是一种安全的网络协议,用于在网络上传输加密的数据流,常用于远程登录和管理计算机。在这里,就是使用SSH命令使用自己本地的电脑访问远程AutoDL服务器上跑起来的大模型Web应用。

不要忘记修改源代码中的模型路径。修改完成后保存并在终端中运行命令启动WEB应用。

# 运行streamlit应用
streamlit run web_demo_streamlit.py

接下来,我们在自己的电脑上使用SSH连接远程的算力服务器上的Web应用。

# 在自己的电脑上面打开CMD运行SSH命令
"""
这条命令意思是通过 SSH 协议连接到名为 connect.westb.seetacloud.com 的主机,使用端口 21133 并以用户名 root 登录。
"""
ssh -p 21133 root@connect.westb.seetacloud.com

但复制过来的SSH命令并没有设置端口映射。我们还需要修改一下这个命令。

"""
修改后的命令增加了几个选项:
-C: 表示启用压缩。
-N: 不执行任何命令,仅建立隧道。
-g: 允许远程主机通过隧道转发连接。
-L 6006:127.0.0.1:7860 设置本地端口转发,将本地的 6006 端口转发到远程主机的 8501 端口。
-p 21133 指定使用端口 21133 进行连接。
"""ssh -CNg -L 6006:127.0.0.1:8501 root@connect.westb.seetacloud.com -p 21133

【注】-p参数后面的端口,是你远程服务器SSH命令复制过来的-p端口。

【注】"6006:127.0.0.1:8501"  ==  "(自己电脑访问的端口):127.0.0.1:(远程算力服务器上启动的Web服务的端口)"

 【注】输入密码不会有提示,并且区分大小写,输入完成后不报错就说明成功了,不是卡主了。当你想断开连接,只需要Ctrl+C终止终端中的SSH就可以了。

 

 


http://www.ppmy.cn/devtools/135489.html

相关文章

全面击破工程级复杂缓存难题

目录 一、走进业务中的缓存 (一)本地缓存 (二)分布式缓存 二、缓存更新模式分析 (一)Cache Aside Pattern(旁路缓存模式) 读操作流程 写操作流程 流程问题思考 问题1&#…

matlab建模入门指导

本文以水池中鸡蛋温度随时间的变化为切入点,对其进行数学建模并进行MATLAB求解,以更为通俗地进行数学建模问题入门指导。 一、问题简述 一个煮熟的鸡蛋有98摄氏度,将它放在18摄氏度的水池中,五分钟后鸡蛋的温度为38摄氏度&#x…

vue2 + iview(view-design) 中封装使用 vxe-table 处理表格渲染大量数据卡顿现象

今天遇到需求,iview组件分页每页100页时候页面卡顿现象严重,改造为使用vxe-table cell-mouseenter"handleCellMouseEnter" cell-mouseleave"handleCellMouseLeave" 这两个用来处理vxe-table 内容过多鼠标悬浮上去滚动 tooltip直接…

【Unity基础】对比Unity中两种粒子系统

在Unity中,Particle System和Visual Effect Graph (VFX) 都是用于创建粒子效果的工具,但它们的设计目标、使用场景和功能特点有所不同。以下是详细对比: 1. Particle System 特点 传统粒子系统,Unity自带的模块化粒子特效工具。…

基于 PyTorch 从零手搓一个GPT Transformer 对话大模型

一、从零手实现 GPT Transformer 模型架构 近年来,大模型的发展势头迅猛,成为了人工智能领域的研究热点。大模型以其强大的语言理解和生成能力,在自然语言处理、机器翻译、文本生成等多个领域取得了显著的成果。但这些都离不开其背后的核心架…

Spring Boot汽车资讯:科技驱动的未来

4系统概要设计 4.1概述 本系统采用B/S结构(Browser/Server,浏览器/服务器结构)和基于Web服务两种模式,是一个适用于Internet环境下的模型结构。只要用户能连上Internet,便可以在任何时间、任何地点使用。系统工作原理图如图4-1所示: 4系统概要设计 4.1概…

支持多种快充协议和支持多种功能的诱骗取电协议芯片

汇铭达XSP15是一款应用于手持电动工具、智能家居、显示器、音箱等充电方案的大功率快充协议芯片,支持最大功率100W给设备快速充电,大大缩短了充电时间。芯片支持通过UART串口发送电压/电流消息供其它芯片读取。支持自动识别连接的是电脑或是充电器。支持…

【GameFramework框架】8-3、已经开发完成的虚拟仿真程序如何接入GameFramework框架

推荐阅读 CSDN主页GitHub开源地址Unity3D插件分享简书地址QQ群:398291828大家好,我是佛系工程师☆恬静的小魔龙☆,不定时更新Unity开发技巧,觉得有用记得一键三连哦。 一、前言 【GameFramework框架】系列教程目录: