目录

DeepSeek%E7%AE%80%E4%BB%8B-toc" name="tableOfContents" style="margin-left:0px">1 DeepSeek简介

DeepSeek%20V3%20%E6%A8%A1%E5%9E%8B%EF%BC%9F-toc" name="tableOfContents" style="margin-left:0px">2 如何在本地环境中部署和运行 DeepSeek V3 模型？

■ 基本要求

■ 代码和模型

▲ 克隆仓库并安装依赖

▲ 下载模型权重

▲ 部署方案

---

---

DeepSeek%E7%AE%80%E4%BB%8B" name="1%20DeepSeek%E7%AE%80%E4%BB%8B" style="text-align:left">1 DeepSeek简介

DeepSeek 在国产 AI 领域是一股清流。它专注于技术研发，以卓越的模型性能赢得了用户的认可。DeepSeek V3 的发布，更是展现了 DeepSeek 在 AI 领域的领先地位。

DeepSeek官网: DeepSeek

DeepSeek开发者平台: DeepSeek

DeepSeek V3 GitHub 仓库: GitHub - deepseek-ai/DeepSeek-V3

DeepSeek V3 Hugging Face 链接: https://huggingface.co/deepseek-ai/DeepSeek-V3-Base

Deepseek-deploy-guide：DeepSeek V3 本地部署指南：从入门到精通

DeepSeek%20V3%20%E6%A8%A1%E5%9E%8B%EF%BC%9F" name="2%20%E5%A6%82%E4%BD%95%E5%9C%A8%E6%9C%AC%E5%9C%B0%E7%8E%AF%E5%A2%83%E4%B8%AD%E9%83%A8%E7%BD%B2%E5%92%8C%E8%BF%90%E8%A1%8C%20DeepSeek%20V3%20%E6%A8%A1%E5%9E%8B%EF%BC%9F" style="text-align:left">2 如何在本地环境中部署和运行 DeepSeek V3 模型？

■ 基本要求

NVIDIA GPU(推荐A100或H100)或AMD GPU

充足的系统内存（推荐32GB以上）

Linux 操作系统（推荐Ubuntu 20.04或更高版本）

Python 3.8 或更高版本

■ 代码和模型

▲ 克隆仓库并安装依赖

git clone https://github.com/deepseek-ai/DeepSeek-V3.gitcd DeepSeek-V3/inferencepip install -r requirements.txt

▲ 下载模型权重

从HuggingFace下载模型权重，并将其放入指定的文件夹。

DeepSeek-V3提供了两种模型版本：

① 基础模型：适用于通用任务。

② 对话模型：针对对话和交互优化。

具体步骤如下：

① 安装Git LFS

对于 Debian 或 Ubuntu 系统，可以使用以下命令安装Git LFS。 

sudo apt-get install git-lfs

② 初始化 Git LFS

初始化 Git LFS，在本地仓库中运行git lfs install命令，确保Git LFS的钩子被正确设置在Git配置中。

git lfs install

③ 下载模型权重

# For Base Modelgit clone https://huggingface.co/deepseek-ai/DeepSeek-V3-Base# For Chat Modelgit clone https://huggingface.co/deepseek-ai/DeepSeek-V3

▲ 部署方案

基础的方式—快速测试和实验。

将FP8权重转换为16权重，可以使用以下命令：

python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo --n-experts 256 --model-parallel 16

使用DeepSeek-Infer Demo进行推理。推理示例：

torchrun --nnodes 2 --nproc-per-node 8 generate.py --node-rank $RANK --master-addr $ADDR --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --interactive --temperature 0.7 --max-new-tokens 200

说明：本文内容来源于网络，如有侵权，请联系作者删除。

至此，本文的内容就结束啦。