本地部署

2024/9/24 6:32:05
使用 vllm 本地部署 Llama3-8b-Instruct

使用 vllm 本地部署 Llama3-8b-Instruct

使用 vllm 本地部署 Llama3-8b-Instruct 0. 引言1. 安装 vllm2. 本地部署 Llama3-8b-Instruct 0. 引言 此文章主要介绍使用 vllm 运行 Llama3-8b。 1. 安装 vllm 创建虚拟环境， conda create -n myvllm python3.11 -y conda activate myvllm安装 Ray 和 Vllm&am…
阅读更多...
使用 vllm 本地部署 Llama3-8b-Instruct

使用 vllm 本地部署 Llama3-8b-Instruct

使用 vllm 本地部署 Llama3-8b-Instruct 0. 引言1. 安装 vllm2. 本地部署 Llama3-8b-Instruct 0. 引言 此文章主要介绍使用 vllm 运行 Llama3-8b。 1. 安装 vllm 创建虚拟环境， conda create -n myvllm python3.11 -y conda activate myvllm安装 Ray 和 Vllm&am…
阅读更多...
使用 vllm 本地部署 cohere 的 command-r

使用 vllm 本地部署 cohere 的 command-r

使用 vllm 本地部署 cohere 的 command-r 0. 引言1. 安装 vllm2. 本地部署 cohere 的 command-r3. 使用 cohere 的 command-r 0. 引言 此文章主要介绍使用 使用 vllm 本地部署 cohere 的 command-r。 1. 安装 vllm 创建虚拟环境， conda create -n myvllm python…
阅读更多...
Qwen2.5 本地部署的实战教程

Qwen2.5 本地部署的实战教程

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学…
阅读更多...
Llama3本地部署的解决方案

Llama3本地部署的解决方案

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…
阅读更多...
使用 vllm 本地部署 Llama3-8b-Instruct

使用 vllm 本地部署 Llama3-8b-Instruct

使用 vllm 本地部署 Llama3-8b-Instruct 0. 引言1. 安装 vllm2. 本地部署 Llama3-8b-Instruct 0. 引言 此文章主要介绍使用 vllm 运行 Llama3-8b。 1. 安装 vllm 创建虚拟环境， conda create -n myvllm python3.11 -y conda activate myvllm安装 Ray 和 Vllm&am…
阅读更多...
本地部署Xinference实现智能体推理工作流（一）

本地部署Xinference实现智能体推理工作流（一）

提示：没有安装Docker的需要先提前安装好Docker 第一篇章 使用AutoDL平台快速部署xinference 备注：若使用AutoDL平台，以下过程使用无卡模型开机即可(省钱) 因为我本地电脑性能不够，所有这里我在AutoDL平台部署ChatGLM ① 首先创…
阅读更多...
最强中文开源模型Command R+的在线使用和本地部署的解决方案

最强中文开源模型Command R+的在线使用和本地部署的解决方案

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…
阅读更多...
本地部署 SenseVoice - 阿里开源语音大模型

本地部署 SenseVoice - 阿里开源语音大模型

本地部署 SenseVoice - 阿里开源语音大模型 1. 创建虚拟环境2. 克隆代码3. 安装依赖模块4. 启动 WebUI5. 访问 WebUI 1. 创建虚拟环境 conda create -n sensevoice python3.11 -y conda activate sensevoice 2. 克隆代码 git clone https://github.com/FunAudioLLM/SenseVoic…
阅读更多...
使用 vllm 本地部署 Llama3-8b-Instruct

使用 vllm 本地部署 Llama3-8b-Instruct

使用 vllm 本地部署 Llama3-8b-Instruct 0. 引言1. 安装 vllm2. 本地部署 Llama3-8b-Instruct 0. 引言 此文章主要介绍使用 vllm 运行 Llama3-8b。 1. 安装 vllm 创建虚拟环境， conda create -n myvllm python3.11 -y conda activate myvllm安装 Ray 和 Vllm&am…
阅读更多...
Langchain-Chatchat本地部署的解决方案

Langchain-Chatchat本地部署的解决方案

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学…
阅读更多...
GLM-4本地部署的实战教程

GLM-4本地部署的实战教程

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…
阅读更多...

Copyright @ 2022~2024