使用 vllm 本地部署 Llama3-8b-Instruct

devtools/2024/9/23 16:13:52/

使用 vllm 本地部署 Llama3-8b-Instruct

0. 引言

此文章主要介绍使用 vllm 运行 Llama3-8b。

vllm_6">1. 安装 vllm

创建虚拟环境,

conda create -n myvllm python=3.11 -y
conda activate myvllm

安装 Ray 和 Vllm,

pip install ray vllm

安装 flash-attention,

git clone https://github.com/Dao-AILab/flash-attention; cd flash-attention
pip install flash-attn --no-build-isolation

2. 本地部署 Llama3-8b-Instruct

eval "$(conda shell.bash hook)"
conda activate myvllm
CUDA_VISIBLE_DEVICES=0
python -m vllm.entrypoints.openai.api_server --trust-remote-code --served-model-name gpt-4 --model meta-llama/Meta-Llama-3-8B-Instruct --gpu-memory-utilization 0.9 --tensor-parallel-size 1 --port 8000

完结!


http://www.ppmy.cn/devtools/13284.html

相关文章

MySQL主要内容

1,在表中插入数据 插入值的类型,必须和字段的类型保持一致 - 如果数据类型是字符串,必须引号引起来,数字的话,可以不加 - 插入的数据顺序和字段的顺序必须保持一致 格式一:向表中插入数据 insert in…

面向对象设计模式

设计模式通常被分为三种类型:创建型模式、结构型模式和行为型模式。 创建型模式 创建型模式主要关注对象的创建机制,它们提供了一种将对象创建和实例化的机制,使得系统在不直接依赖于具体类的情况下能够灵活地创建对象。 创建型模式的典型…

SOLIDWORKS Electrical 3D--精准的三维布线

相信很多工程师在实际生产的时候都会遇到线材长度不准确的问题,从而导致线材浪费甚至整根线材报废的问题,这基本都是由于人工测量长度所导致的,因此本次和大家简单介绍一下SOLIDWORKS Electrical 3D布线的功能,Electrical 3D布线能…

【Unity】苹果(IOS)开发证书保姆级申请教程

前言 我们在使用xcode出包的时候,需要用到iOS证书(.p12)和描述文件(.mobileprovision) 开发证书及对应的描述文件用于开发阶段使用,可以直接将 App 安装到手机上,一个描述文件最多绑定100台测试设备 1.证书管理 进入网站Apple Developer &…

Cloudera最新认证体系-2024Hadoop认证

这里写自定义目录标题 欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants 创建一个自定义列表如何创建一个…

uniapp步骤条 组件

//子组件 <template><view class"container-step"><view class"uni-padding-wrap"><view class"progress-box"><progress :percent"3" active"true" stroke-width"2" /></vie…

verilog 语法及特点

主线上的硬件描述语言有verilog 和 VHDL 两门&#xff0c; 由于 verilog 语法上比VHDL 语言灵活&#xff0c; 所以现在社区以 verilog 语言开发的项目占比更大。 但是相较于 现在流行的 java/python 计算机语言比起来&#xff0c; 其模块化管理要差很多&#xff0c; 所以现在社…

Qt Android 动态加载动态库失败

问题描述 经过了七七四十九个劫难后程序终于稳定运行起来了&#xff0c;正当我以为完美时&#xff0c;问题又找上门了&#xff0c;QML 里面的二维码图片加载不起来了&#xff0c;这个图片还不是本地图片&#xff0c;是实时生成的。 开始的时候并没有下面日志输出&#xff0c;…