Windows电脑本地部署运行DeepSeek R1大模型(基于Ollama和Chatbox)

embedded/2025/2/5 23:14:56/

文章目录

  • 一、环境准备
  • 二、安装Ollama
  • 三、选择DeepSeek R1模型
  • 四、下载并运行DeepSeek R1模型
  • 五、常见问题解答
  • 六、使用Chatbox进行交互
    • 6.1 下载Chatbox安装包
    • 6.2 安装并启动 Chatbox
    • 6.3 配置Chatbox
  • 七、总结
    • 7.1 Ollama介绍
    • 7.2 Chatbox介绍

一、环境准备

电脑配置越高可以运行版本更高的DeepSeek R1模型。
DeepSeek R1模型版本越高,参数越多,模型越大,效果越好。

我的电脑配置如下

  • CPU:R7 5800
  • 显卡:RTX3060 12G独显
  • 内存:32G
  • 网络:需要稳定的互联网连接以下载模型文件。

Ollama_16">二、安装Ollama

Ollama_17">2.1 访问Ollama官方网站

  • Ollama官方网站:https://ollama.com/

在这里插入图片描述

在这里插入图片描述

2.2 下载适用于Windows的安装包

  • 单击右上角“Download”按钮

在这里插入图片描述

在这里插入图片描述

Ollama_34">2.3 安装Ollama安装包

  • 双击安装包,按照安装向导的提示完成安装。
  • 安装完成后,可以在开始菜单中找到Ollama

在这里插入图片描述

  • 不过这种方式只能安装在C盘(C:\Users\weijian\AppData\Local\Programs\Ollama
  • 这个安装包还不够完善,没有选择安装路径的选项。

在这里插入图片描述

Ollama_49">2.4 指定Ollama安装目录

  • 通过OllamaSetup.exe /dir="D:\Program Files\Ollama命令可以指定Ollama安装目录
C:\Users\weijian>d:
D:\>cd “Program Files"
D:\Program Files>OllamaSetup.exe /dir="D:\Program Files\Ollama

在这里插入图片描述

在这里插入图片描述

Ollama_62">2.5 指定Ollama大模型的存储目录

  • 打开 “开始” 菜单,搜索 “环境变量”,点击 “编辑系统环境变量”。
  • 在 “系统属性” 窗口中,点击 “环境变量” 按钮。
  • 在 “用户变量” 下,点击 “新建”,输入变量名 “ollama_models”,变量值为你想要存储模型的目录路径,如 “D:\ollama_models”,点击 “确定” 保存更改。
  • Ollama 已经在运行,需先关闭托盘应用程序,然后从开始菜单重新启动,或在保存环境变量后启动新的终端。

DeepSeek_R1_68">三、选择DeepSeek R1模型

  • DeepSeek-R1有多种版本,适配不同的硬件配置(如下图)。
  • 主要取决于GPU的显存大小。
  • 注意:是GPU的显存,不是电脑的内存

在这里插入图片描述

  • 简单列举了几个高性能显卡的参数。
显卡 型号性能评级显存容量显存类型
RTX 4090S24GBGDDR6X
RX 7900 XTXS24GBGDDR6
RTX 4080 SUPERA+16GBGDDR6X
RX 7900 XTA+20GBGDDR6
RTX 4070 Ti SUPERA12GBGDDR6X
RX 7900 GREA16GBGDDR6
RTX 3090 TiA24GBGDDR6X
RX 6950 XTA16GBGDDR6
RTX 4070 TiA12GBGDDR6X
RX 7800 XTA-16GBGDDR6

DeepSeek_R1_92">四、下载并运行DeepSeek R1模型

  • 打开 Windows PowerShell(管理员)或终端管理员。
  • 输入以下命令下载模型(以 8B 版本为例):
ollama run deepseek-r1:8b

在这里插入图片描述

在这里插入图片描述

  • 下载完成后,模型会自动运行,您可以在终端与模型进行交互,输入问题或任务,模型将提供相应的响应。
  • 如果需要重新进入模型交互界面,可以在 PowerShell 中输入以下命令:
ollama run deepseek-r1:8b

在这里插入图片描述

五、常见问题解答

  • 模型加载时间过长:可能是由于硬件性能或网络速度限制。请确保系统满足模型的硬件要求,并检查网络连接。
  • 内存不足错误:考虑使用较小的模型版本或升级硬件配置。
  • 模型响应不准确:确保按照推荐的配置使用模型,例如将温度设置在 0.5-0.7 之间,并避免添加系统提示符。
  • 启动Ollama报错:Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.
    • netstat -aon | findstr 11434:查找占用端口的进程。
    • tasklist | findstr "6892":查看该进程的详细信息。
    • taskkill /PID 6872 /F:杀死该进程。

六、使用Chatbox进行交互

6.1 下载Chatbox安装包

  • 访问Chatbox官方网站(https://chatboxai.app/zh),下载适用于 Windows 的版本。

在这里插入图片描述

6.2 安装并启动 Chatbox

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

6.3 配置Chatbox

  • API类型:选择 “OLLAMA API”。
  • 接口地址:填写 http://localhost:11434。
  • 模型名称:填写 deepseek-r1:8b,确保与之前下载的模型版本一致。

在这里插入图片描述

在这里插入图片描述

  • 最后就可以在本地使用DeepSeek R1模型啦

在这里插入图片描述

七、总结

主要使用两个开源软件,才将DeepSeek R1大模型运行起来。

Ollama_179">7.1 Ollama介绍

Ollama 是一个开源的框架,主要用于在本地机器上便捷地部署和运行大型语言模型(LLM)。以下是关于 Ollama 的详细介绍:

  • 简化部署Ollama的设计目标是简化在Docker容器中部署大型语言模型的过程,使得非专业用户也能方便地管理和运行这些复杂的模型。
  • 轻量级与可扩展:作为一个轻量级框架,Ollama保持了较小的资源占用,同时具备良好的可扩展性,允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
  • API 支持Ollama提供了一个简洁的API,使得开发者能够轻松创建、运行和管理大型语言模型实例,降低了与模型交互的技术门槛。
  • 预构建模型库Ollama包含一系列预先训练好的大型语言模型,用户可以直接选用这些模型应用于自己的应用程序,无需从头训练或自行寻找模型源。
  • 模型导入与定制Ollama支持从特定平台(如GGUF)或其他深度学习框架(如PyTorch或Safetensors)导入已有的大型语言模型,并允许用户为模型添加或修改提示(prompt engineering)

7.2 Chatbox介绍

Chatbox 是一款开源的聊天界面工具,专为与本地运行的大型语言模型(如 Ollama、Llama、Vicuna 等)进行交互而设计。

它提供了一个简单易用的图形用户界面(GUI),使用户能够更方便地与本地部署的语言模型进行对话,而无需编写复杂的代码或使用命令行工具。


若觉得文章对你有帮助,随手『点赞』、『收藏』、『关注』,也是对我的支持。


http://www.ppmy.cn/embedded/159871.html

相关文章

蓝桥杯三国游戏(贪心)

贪心:不是从整体上考虑最优解,而是从局部考虑,类似dp贪心的决策是需要有无后效性的,且局部最优解可以推到整体最优 3 1 2 2 2 3 2 1 0 7 2分析: 本题的意思是选择几个事件(可不连续)&#xff…

蓝桥杯模拟算法:蛇形方阵

P5731 【深基5.习6】蛇形方阵 - 洛谷 | 计算机科学教育新生态 我们只要定义两个方向向量数组,这种问题就可以迎刃而解了 比如我们是4的话,我们从左向右开始存,1,2,3,4 到5的时候y就大于4了就是越界了&…

RESTful 架构原则及其在 API 设计中的应用

RESTful 架构原则及其在 API 设计中的应用 RESTful 架构原则及其在 API 设计中的应用第一章:REST 基础概念1.1 什么是 REST?1.2 RESTful 架构的特点 第二章:RESTful 架构的核心原则2.1 资源(Resources)2.2 统一接口(Uniform Interface)2.3 状…

中继器与集线器

一、中继器(Repeater) 1. 定义与功能 定位:OSI模型的物理层设备。 核心功能:放大和再生信号,解决信号在传输过程中的衰减问题。 信号在传输介质(如双绞线、光纤)中会因距离增加而衰减&#xf…

洛谷 P10112 [GESP202312 八级] 奖品分配 C++ 详细题解

一、题目链接 P10112 [GESP202312 八级] 奖品分配 - 洛谷 二、解题思路 n 3 m 2 a {2, 1} 我们把每个人当成一个位置,往里面放奖品。 一共三个位置,两个相同的奖品放在位置上,有C(3, 2)种放法。 放完两个奖品,还有一个位置可放…

【计算机网络】设备更换地区后无法访问云服务器问题

文章目录 1. **服务器的公网 IP 是否变了**2. **服务器的防火墙或安全组设置**3. **本地运营商或 NAT 限制**4. **ISP 限制或端口封锁**5. **服务器监听地址检查** 1. 服务器的公网 IP 是否变了 在服务器上运行以下命令,检查当前的公网 IP:curl ifconfi…

企业资金管理-司库(Treasury)

司库概述 司库(Treasury)是企业或组织中负责资金和流动性管理的核心部门,主要职责包括资金运作、风险管理、融资决策等,以确保企业财务健康并支持业务发展。 主要职能 资金管理: 现金流管理:监控和预测现…

uv 安装包

是的,你可以使用 uv 来安装 Python 包。uv 是一个高性能的 Python 包安装器和解析器,由 astral.sh 团队开发,旨在替代 pip 和 pip-tools,提供更快的包安装体验。 ### 如何使用 uv 安装包 1. **安装 uv**: 如果你还…