deepin linux UOS AI 使用 deepseek-r1 30B

devtools/2025/2/19 8:37:30/
aidu_pl">

我们用 ollama 下载 deepseek-r1 3B  执行命令:

$ ollama pull models/unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF

下载完成后  我们就要重新更改目录和文件了

deepseek-r1/gguf  (这是目录结构)

然后我把 gguf文件 更名成 DeepSeek-R1.gguf (就是目录下最大的那个文件)

接着我创建 config.json 

{
"verison":"0.1",
"architectures":["Qwen2ForCausalLM", "LLM"],
"bin":"DeepSeek-R1.gguf",
"license":["LICENSE"],
"templates":{"default":"template"},
"params":{"--ctx-size":"8192","--temp":"0.1"}
}

接着我们再创建 template 

{% if exists("System") %}<|im_start|>system
{% if length(System) > 0 %}{{ System }}{% else %}You are a helpful assistant.{% endif %}<|im_end|>
{% endif%}{% if exists("Prompt") %}<|im_start|>user
{{ Prompt }}<|im_end|>
{% endif %}{% if exists("Tool") %}<|im_start|>tool
{{ Tool }}<|im_end|>
{% endif %}<|im_start|>assistant{% if exists("Response") %}
{{ Response }}<|im_end|>{% endif %}

 这些文件都在deepseek-r1/gguf 这个目录下。

最后我 把整个deepseek  移到   /home/用户名/.local/share/deepin-modelhub/models/

好了  这样你打开 UOS AI 就可以尽情使用了  我主要用于让ai写代码


http://www.ppmy.cn/devtools/158699.html

相关文章

springCloud-2021.0.9 之 GateWay 示例

文章目录 前言springCloud-2021.0.9 之 GateWay 示例1. GateWay 官网2. GateWay 三个关键名称3. GateWay 工作原理的高级概述4. 示例4.1. POM4.2. 启动类4.3. 过滤器4.4. 配置 5. 启动/测试 前言 如果您觉得有用的话&#xff0c;记得给博主点个赞&#xff0c;评论&#xff0c;收…

2025年智慧城市解决方案下载:AI-超脑中台,体系架构整体设计

2025年&#xff0c;随着人工智能、物联网、大数据等新兴技术的深度融合&#xff0c;智慧城市解决方案正迈向更高层次的智能化和协同化阶段。其中&#xff0c;AI-超脑中台作为核心架构的一部分&#xff0c;为城市智能化运行提供了强大支撑。 智慧城市最新解决方案&#xff0c;标…

vue2中 computed 计算属性

文章目录 vue2中 computed 计算属性1. 什么是计算属性&#xff1f;2. 基本用法1. 定义计算属性2. 计算属性的缓存特性 3. 计算属性的高级用法1. 计算属性的 Getter 和 Setter 方法2. 计算属性的依赖追踪 4. 计算属性与方法的区别5. 实际应用案例1. 格式化数据2. 计算总价3. 动态…

用户态进程与内核态进程的区别详解

在 Linux 系统中&#xff0c;进程是操作系统最基本的运行单位&#xff0c;它们分为用户态进程&#xff08;User Mode Process&#xff09;和内核态进程&#xff08;Kernel Mode Process&#xff09;。这两种进程的运行环境、权限、职责和交互方式都有很大不同。对于初学者来说&…

Spring 事务及管理方式

Spring 事务管理是 Spring 框架的核心功能之一&#xff0c;它为开发者提供了一种方便、灵活且强大的方式来管理数据库事务。 1、事务的基本概念 事务是一组不可分割的操作序列&#xff0c;这些操作要么全部成功执行&#xff0c;要么全部失败回滚&#xff0c;以确保数据的一致…

本地部署【LLM-deepseek】大模型 ollama+deepseek/conda(python)+openwebui/docker+openwebui

通过ollama本地部署deepseek 总共两步 1.模型部署 2.[web页面] 参考官网 ollama:模型部署 https://ollama.com/ open-webui:web页面 https://github.com/open-webui/open-webui 设备参考 Mac M 芯片 windows未知 蒸馏模型版本:deepseek-r1:14b 运行情况macminim2 24256 本地…

在亚马逊云科技上一键自动部署Falcon3大语言模型

由TII&#xff08;阿布扎比技术创新研究所&#xff09;开发的全新的Falcon 3系列模型&#xff0c;已经在亚马逊云科技的模型自动化快速部署功能 - Amazon SageMaker JumpStart上可以使用了。在本文中小李哥就将带大家探训如何在Amazon SageMaker AI上高效部署Falcon3模型。 Fa…

讲解一下SpringBoot的RPC连接

Spring Boot 本身并不直接提供 RPC&#xff08;Remote Procedure Call&#xff0c;远程过程调用&#xff09;功能&#xff0c;但可以通过集成其他框架或库来实现 RPC 通信。常见的 RPC 框架包括 Dubbo、gRPC、Thrift、Spring Cloud 等。下面我将讲解如何在 Spring Boot 中集成和…