作者：后端小肥肠

ain-toc" name="tableOfContents">目录

1. 前言

2. 解决方案

2.1. 纳米AI搜索（第三方平台）

2.2. Github（第三方平台）

2.3. 硅基流动（第三方API）

3. 本地部署详细步骤

3.1. 运行配置需求

3.2. 部署教程

4. DeepSpeek资料获取

5. 结语

---

1. 前言

2023年ChatGPT掀起的AI飓风中，一家中国AI公司正以惊人的速度改写行业格局——DeepSeek智能推理平台上线首月用户突破百万，日均API调用量超10亿次，其自研的MoE混合专家模型在中文语境下的推理速度较主流方案提升300%。这场技术狂欢背后，折射出AI产业发展的新图景：大模型应用正从"云端漫步"转向"地面竞速"，推理效率成为决定AI服务成败的关键胜负手。

DeepSeek的爆红绝非偶然，其技术突破精准击中了AI落地的三大痛点。通过动态负载均衡算法，平台在10毫秒内完成计算资源调度；独创的语义缓存机制使重复请求响应速度达到纳秒级；更关键的是其混合精度量化技术，在保持98%模型精度的前提下，将推理能耗降低60%。这些创新让企业客户在电商推荐、金融风控等场景中真正体验到"无感级"AI服务。

但是不知道大家发现没有Deepspeek总是遇到下图问题，网上的解释为因为全球大量流量的涌入，再加上 DeepSeek 遭 X 国 IP 暴力攻击，所以，目前官版的 DeepSeek 响应比较慢。

2. 解决方案

目前网上能搜罗的解决方案无非就是第三方平台和第三方API，我这里列举几
个。

2.1. 纳米AI搜索（第三方平台）

App：

下图中满血版R1模型提问要20纳米一次，要不要用，怎么用就看自己取舍了（说实话我觉得豆包就挺好用的了，我手机上相关的APP就一个豆包，过年下载了DeepSpeek由于总是服务器繁忙已经卸载了）。

网页版本：纳米AI

2.2. Github（第三方平台）

网址：Sign in to GitHub · GitHub​

界面如下所示，需要手动拉满Max Tokens：

在此页面上，你可以找到以下资源：

• 源代码：DeepSeek R1模型的实现代码，包括模型架构、训练代码和推理代码。

• 模型权重：预训练的模型权重文件，方便你直接加载模型进行推理或微调。

• 技术文档：详细的文档，介绍模型的设计理念、训练过程和使用方法。

• 示例代码：提供了如何在不同环境下使用DeepSeek R1模型的示例，帮助你·快速上手。

此外，GitHub页面还包含了“Issues”部分，你可以在这里查看和提交与DeepSeek R1模型相关的问题和建议。例如，有用户询问如何在PC或移动设备上部署DeepSeek R1/V3精简版，以及API是否可以调用本地知识库等问题。

2.3. 硅基流动（第三方API）

硅基流动（SiliconCloud）是一家知名的AI技术公司，曾为用户推荐过ComfyUI BizyAir插件。近期，他们与华为云合作，推出了基于昇腾云服务的DeepSeek R1模型API服务。这一服务旨在为开发者提供高效、稳定的AI模型推理能力，满足大规模生产环境的需求。

通过SiliconCloud的API，开发者可以轻松接入DeepSeek R1模型，享受零部署门槛的便利。此外，SiliconCloud还提供了详细的API文档，帮助开发者快速上手，接下来就给大家演示怎么基于第三方API使用DeepSpeek：

1. 登录硅基流动注册账号

首先，访问SiliconCloud的官方网站，点击注册按钮，按照提示完成注册流程。

2. 提取API key

登录后，进入用户中心，找到API密钥选项，点击新建API秘钥。生成后，请妥善保存该密钥。

3. 安装客户端软件

如果你要在客户端应用中体验 DeepSeek R1 模型，你可以选择以下产品：

大模型客户端应用：

• ChatBox
• Cherry Studio
• OneAPI
• NextChat

代码生成应用：

• Cursor
• Windsurf
• Cline

大模型应用开发平台：

• Dify

AI知识库：

• Obsidian AI
• FastGPT

翻译插件：

• 沉浸式翻译：
• 欧路词典：

以Cherry Studio为例，你可以访问其官网（Cherry Studio - 全能的AI助手），按照步骤下载安装对应版本的客户端。

4. 配置API

运行客户端软件后，进入设置界面，找到SiliconCloud的API配置项。在API密钥字段中输入你在SiliconCloud获取的API密钥。然后，选择DeepSeek R1模型，保存设置。完成后，你即可开始使用DeepSeek R1模型进行交互。

3. 本地部署详细步骤

本地部署开源大模型具有以下优势：

• 更稳定、更快的响应速度：本地部署减少了对网络连接的依赖，避免了因网络延迟导致的响应速度下降。

• 模型可控性：根据自身需求对模型进行定制和优化，提高模型的适用性和性能。

• 数据安全：在本地环境中处理数据，避免了将敏感信息上传至云端，降低了数据泄露的风险。

• 成本控制：无限使用，无需支付云服务的订阅费用，可降低使用成本。

• 灵活性：可以自由选择和切换不同的模型，满足多样化的应用需求。

• 离线运行：在本地部署后，即使没有网络连接，也可以使用模型。

3.1. 运行配置需求

如果电脑的显存不够用，可以通过量化来减少对显存的需求。量化就是把模型的参数从较高的精度（比如32位）转换为较低的精度（比如8位），这样可以节省显存空间，让你的电脑能够运行更大的模型。举个例子，如果你的电脑显存是8GB，而你想使用7b参数的模型，但显存不足，那么通过量化处理后，你就可以在不增加硬件的情况下，使用这个大模型。

简而言之，量化可以帮助你在显存有限的情况下运行更强大的模型，是优化显存使用的有效方法。如果你不确定自己是否需要量化，可以参考下面的显卡显存列表来判断自己电脑的显存是否足够运行所需的模型。

显存大小	显卡型号
3GB	GTX 1060 3GB
4GB	GTX 1050 Ti
6GB	GTX 1060 6GB, RTX 2060 6GB, RTX 3050 (6GB)
8GB	GTX 1080, GTX 1070 Ti, RTX 2080 SUPER, RTX 2080, RTX 2070 SUPER, RTX 2070, RTX 2060, RTX 2060 SUPER, RTX 3070, RTX 3070 Ti, RTX 3060 Ti, RTX 3060 (8GB), RTX 3050 (8GB), RTX 4080, RTX 4060 Ti, RTX 4060, RTX 5070
11GB	GTX 1080 Ti, RTX 2080 Ti
12GB	RTX 2060 12GB, RTX 3060 (12GB), RTX 4070 Ti SUPER, RTX 4070, RTX 5070 Ti
16GB	RTX 4060 Ti 16GB, RTX 5080
24GB	RTX 3090 Ti, RTX 3090, RTX 4080, RTX 4090
32GB	RTX 5090

根据电脑配置选择合适的模型下载，下面列出了不同大小的DeepSeek模型对应的显存和内存需求。请根据你的显卡配置和MacOS系统的内存选择合适的模型。

模型大小​ ​	显存需求（FP16 推理）​	显存需求（INT8 推理）​	推荐显卡​	MacOS 需要的 RAM​
1.5b​	3GB​	2GB​	RTX 2060/MacGPU 可运行​	8GB​
7b​	14GB​	10GB​	RTX 3060 12GB/4070 Ti​	16GB​
8b​	16GB​	12GB​	RTX 4070/MacGPU 高效运行​	16GB​
14b​	28GB​	20GB​	RTX 4090/A100-40G​	32GB​
32b​	64GB​	48GB​	A100-80G/2xRTX4090​	64GB​

如何看显存，可以自行百度，我演示一下我的电脑是怎么看的，打开NVIDIA控制面板的系统信息：

从图片中显示的信息来看，我的显卡是Quadro P620，显存为4GB GDDR5（4GB） ，我能用的模型大小为1.5b（。。。今年努力买个4090）

3.2. 部署教程

本地部署教程分为需要设置环境版本（Ollama）和不需要设置环境（针对显存不足）（LM Studio），我这里只讲不需要设置环境怎么部署(Ollama的教程可以去网上自己找一下）。

1. 进入官网下载 LM Studio

地址：LM Studio - Discover, download, and run local LLMs​

这里可以看到是支持「DeepSeek」大模型的，当然也支持其他的开源大模型，原理是一样的，后续小伙伴想测试其他的模型，这篇学会了，其他也就通了。​

​2. 安装LM Studio

安装过程很简单，这里不展开讲。

3. 设置中文

点击右下角设置按钮，将软件语言设置为中文。

4. 修改模型文件夹

点击我的模型，修改模型存放目录

我改到了F盘：

5. 下载模型

打开「魔搭社区」下载，网站是阿里的。

 进入你想下载的模型：

点击模型文件 ，在这些GGUF量化模型的文件名中，Q后面的数字（如Q3、Q4、Q6、Q8）代表模型的量化位数，用于指示模型权重的量化精度。

• 较低位数（如Q3、Q4）：

  • 模型文件较小，占用的存储空间和内存更少。
  • 推理速度更快，适合在资源有限的设备（如移动端、嵌入式设备）上运行。
  • 但由于量化损失较大，模型的精度可能会有所下降。

• 较高位数（如Q6、Q8）：

  • 精度接近原始未量化模型，推理效果更好。
  • 文件大小较大，推理速度相对较慢。

如果你需要尽可能小且运行速度更快的模型（例如在低端GPU或CPU上运行），可以选择Q3或Q4。如果你更注重推理效果，并希望接近FP16（浮点模型）的精度，可以选择Q6或Q8。根据需求选择合适的量化位数，然后直接点击下载即可。

6. 配置模型

将下载好的模型放置到模型目录中：

7. 使用

回到聊天界面，选择刚刚下载的大模型加载

点击对应模型会弹出参数页面，根据自己需要调整即可：

加载完成后，选择右上角烧杯的图标，我们可以设置提示词，类似智能体 

现在来提问一下：

4. DeepSpeek资料获取

如果你需要获取关于DeepSeek的相关资料，可以通过关注我的公众号【后端小肥肠】来领取《DeepSeek 15天指导手册——从入门到精通》。

5. 结语

在使用DeepSeek模型时，无论是选择第三方API还是进行本地部署，都需要根据自己的实际硬件配置做出最合适的决策。如果你的电脑配置较低，显存不足，可以选择通过第三方平台或API来避免复杂的部署过程，快速享受到AI推理服务。而对于那些硬件条件较好的用户，本地部署则提供了更多的控制权和灵活性，不仅可以节省长期的云服务费用，还能让你完全掌控数据和模型的运行。

对于我个人而言，由于硬件配置的限制，目前使用的是第三方API，但对于有更强大硬件资源的开发者，本地部署无疑是一个更具吸引力的选项。无论如何，AI技术的进步已经开始改变我们的工作和生活方式，未来会有更多的可能性等着大家去探索。

希望这篇文章能为你的决策提供参考，祝愿大家在AI的世界里越走越远。