Deepseek r1 本地部署

server/2025/3/19 20:14:59/

1.环境需求:

1. 独显
  
2. 最好32g+内存
  
3. 安装 ollama
  
 https://ollama.com/download/windows
  

2. 安装 deepseek-r1
  

https://ollama.com/library/deepseek-r1

根据显存选择对应大小的模型,推荐能将整个模型放入显存的大小,放不下的话会将一部分放到内存中,生成速度会变慢,最佳效果是显存>模型大小*2;

如选择 7b 模型,则 cmd 输入ollama run deepseek-r1,下载速度比较慢的话可以使用 Ctrl+C 断联在重新下载,会自动继续。

3.  安装 cuda(非必须)

安装 cuda 能加速字符的生成。

https://developer.nvidia.com/cuda-toolkit

4. 安装 open-webui(非必须,需要有python环境)

图形界面,自动读取 ollama 中的模型,便于使用。 // 安装pip install open-webui// 启动open-webui serve

5. 开始使用

访问 http://localhost:8080/,选择对应模型,开始使用。

Ps. 我的电脑配置是 i5-12450k + 4050 8g

* Deepseek-r1 14b 模型加载时间在30-60s,每秒钟2-3个中文字符的生成速度,时间上基本是不可用状态;
  
* Deepseek-r1 7b 模型加载时间在5s左右,每秒钟10-20个中文字符的生成速度,已经赶上了在线模型的速度;
  
* 在一些通用问题上,7b和14b的模型效果没有明显的区别。


http://www.ppmy.cn/server/176335.html

相关文章

桂链:什么是区块链策略?

桂链是基于Hyperledger Fabric开源区块链框架扩展开发的区块链存证平台,是桂云网络(OSG)公司旗下企业供应链、流程审批等场景数字存证软件产品,与桂花流程引擎(Osmanthus)并列为桂云网络旗下的标准与可定制…

游戏成瘾与学习动力激发策略研究——了解“情感解离”“创伤理论”

一、情感解离(Emotional Dissociation) 定义:情感解离是一种心理防御机制,指个体在经历无法承受的情绪压力或创伤时,通过切断情感体验与认知、记忆或现实感知的联系来保护自我。它不是简单的“麻木”,而是大脑为应对极端刺激而启动的“紧急逃生通道”。 核心特征 1、意…

windows上LISTENER监听器中显示“监听程序不支持服务”

现象: 在windows上安装完数据库后,检查监听的时候,出现如下的错误 问题排查: 既然监听能启动,说明在$ORACLE_HOME/network/admin/listener.ora文件配置的无问题,目前来看,是监听不支持服务。 …

【ES6】04-对象 + 类 + 模板字符串 + 解构 + 字符串

本文介绍对象类解构赋值字符串的操作和方法。 目录 1. 对象 1.1 创建对象 1.2 添加属性 1.3 删除 1.4 判断是否存在 1.5 属性名数量 1.6 for...in遍历 1.7 forEach遍历 1.8 清空对象 2. 类 2.1 创建对象和模板字符串 2.2 私有属性值 2.3 继承extends 3. 解构 3…

Groove 清除环境变量,以防应用程序因为环境变量设置了错误的 Qt 插件路径而启动失败

if "QT_QPA_PLATFORM_PLUGIN_PATH" in os.environ:os.environ.pop("QT_QPA_PLATFORM_PLUGIN_PATH") 这段代码的意思是检查 QT_QPA_PLATFORM_PLUGIN_PATH 是否在环境变量中,如果存在,就将其从环境变量中移除。 具体解释如下&#x…

Docker搭建MySQL主从服务器

一、在主机上创建MySQL配置文件——my.cnf master服务器配置文件路径:/data/docker/containers/mysql-cluster-master/conf.d/my.cnf slave服务器配置文件路径: /data/docker/containers/mysql-cluster-master/conf.d/my.cnf master服务配置文件内容 …

面试提问:数仓设计不分层可以吗?

目录 一、数据仓库分层的目的 二、不分层的适用场景 1. 小型团队或简单业务 2. 实时数据流处理 3. 探索性分析或临时需求 4. 现代架构的演进 三、不分层的潜在问题 1. 数据冗余与一致性 2. 维护复杂度 3. 性能瓶颈 4. 数据质量风险 四、折中方案:轻量级分…

【html中文本超出元素的宽度后显示省略号...】

在html中设置元素的宽度&#xff0c;然后元素中的文本不允许换行&#xff0c;超出元素宽度后强制显示省略号 <div class"item">91HTTP企业增值税专用发票&#xff08;电子发票&#xff09;开具教程 </div><style> .item { width: 290px;overflow:…