使用 vllm 本地部署 Llama3-8b-Instruct

news/2024/9/24 2:45:57/

使用 vllm 本地部署 Llama3-8b-Instruct

0. 引言

此文章主要介绍使用 vllm 运行 Llama3-8b。

vllm_6">1. 安装 vllm

创建虚拟环境,

conda create -n myvllm python=3.11 -y
conda activate myvllm

安装 Ray 和 Vllm,

pip install ray vllm

安装 flash-attention,

git clone https://github.com/Dao-AILab/flash-attention; cd flash-attention
pip install flash-attn --no-build-isolation

2. 本地部署 Llama3-8b-Instruct

eval "$(conda shell.bash hook)"
conda activate myvllm
CUDA_VISIBLE_DEVICES=0
python -m vllm.entrypoints.openai.api_server --trust-remote-code --served-model-name gpt-4 --model meta-llama/Meta-Llama-3-8B-Instruct --gpu-memory-utilization 0.9 --tensor-parallel-size 1 --port 8000

完结!


http://www.ppmy.cn/news/1434776.html

相关文章

Docker搭建Mylar

Mylar 是一个用于漫画书管理和下载的自动化工具。它允许用户跟踪他们的漫画书收藏,搜索和下载漫画书,以及管理下载队列。Mylar 可以作为一个独立的应用程序运行,也可以与 Sonarr 和 Radarr 等其他媒体管理工具集成。 实际应用场景 漫画书收…

BFS解决FloodFill算法:(Leetcode:130. 被围绕的区域)

题目链接:130. 被围绕的区域 - 力扣(LeetCode) BFS算法通常是边搜索边修改,所以当搜索到边界O时,前面的本不应该修改的数据已经被修改,所以按照正常顺序进行BFS搜索是行不通的。 正难则反,先用…

ZooKeeper的分布式锁

ZooKeeper的分布式锁机制主要利用ZooKeeper的节点特性,通过创建和删除节点来实现锁的控制。 实现步骤: 创建锁节点:当一个进程需要访问共享资源时,它会在ZooKeeper中创建一个唯一的临时顺序节点作为锁。尝试获取锁:进…

【Java--数据结构】提升数据处理速度!深入理解Java中的顺序表机制

欢迎关注个人主页:逸狼 创造不易,可以点点赞吗~ 如有错误,欢迎指出~ 目录 两种创建顺序表的方法及区别 认识ArrayList的构造方法 不带参数的构造方法 带参数的构造方法 利用Collection 构造方法 举例 ArrayList 常用方法演示 add addAll remo…

linux环境安装cmake

centos安装cmake 在CentOS下安装CMake,可以按照以下步骤进行: 首先,安装必要的依赖项。打开终端,并输入以下命令: yum install gcc gcc-c ncurses-devel perl这些依赖项对于CMake的编译和安装是必需的。 下载CMake的…

【KG+RAG 论文】医学知识图谱检索增强 LLM 的框架 —— KG-RAG

论文:Biomedical knowledge graph-enhanced prompt generation for large language models ⭐⭐⭐ Code:github.com/BaranziniLab/KG_RAG 文章目录 论文速读模型效果总结 论文速读 这篇论文提出了 KG-RAG 的框架,使用医学知识图谱&#xff0…

【MATLAB源码-第197期】基于matlab的粒子群算法(PSO)结合人工蜂群算法(ABC)无人机联合卡车配送仿真。

操作环境: MATLAB 2022a 1、算法描述 基于粒子群优化(PSO)算法的无人机联合卡车配送系统是一个高效的物流配送策略,旨在优化配送过程中的成本、时间和资源利用率。该系统融合了无人机和卡车的配送能力,通过智能算法…

easyexcel升级3.3.4失败的经历

原本想通过easyexcel从2.2.6升级到3.3.3解决一部分问题,结果之前的可以用的代码,却无端的出现bug 1 Sheet index (1) is out of range (0…0) 什么都没有改,就出了问题,那么问题肯定出现在easyexcel版本自身.使用模板填充的方式进…