【大语言模型_3】ollama本地加载deepseek模型后回答混乱问题解决

ops/2025/2/22 17:19:28/

背景:

     本地下载了DeepSeek-R1-Distill-Qwen-7B模型后,通过ollama create DeepSeek-R1-Distill-Qwen-7B -f  ds7b.mf加载模型启动后回答混乱,无法使用。

解决方法

   重新下载模型,选择了DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

    重新编写ds7b.mf文件,文件内容如下:

FROM /root/zml/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<|User|>{{ .Content }}
{{- else if eq .Role "assistant" }}<|Assistant|>{{ .Content }}{{- if not $last }}<|end▁of▁sentence|>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<|Assistant|>{{- end }}
{{- end }}"""PARAMETER stop "<|begin▁of▁sentence|>"
PARAMETER stop "<|end▁of▁sentence|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|Assistant|>"

再次加载模型后启动正常


http://www.ppmy.cn/ops/160152.html

相关文章

部署前端项目

前端项目部署是指将前端应用程序从开发环境转移到生产环境的过程&#xff0c;涉及上传代码和资源文件至服务器并确保其正确运行&#xff0c;以下是详细步骤&#xff1a; 一、前期准备 检查项目依赖&#xff1a;确保项目的所有依赖都已正确安装&#xff0c;并更新到最新版本。常…

手写简易RPC(实践版)

首先了解rpc rpc-远程过程调用&#xff0c;openFeign&#xff0c;Dubbo都可以算作rpc&#xff0c;以微服务来具体说明&#xff0c;就是在本地不需要去发送请求&#xff0c;通过rpc框架&#xff0c;像调用本地方法一样调用其他服务的方法&#xff0c;本质上还是要经过网络&…

Unity之Serialized序列化:从原理到实践

内容将会持续更新&#xff0c;有错误的地方欢迎指正&#xff0c;谢谢! Unity之Serialized序列化&#xff1a;从原理到实践 TechX 坚持将创新的科技带给世界&#xff01; 拥有更好的学习体验 —— 不断努力&#xff0c;不断进步&#xff0c;不断探索 TechX —— 心探索、心…

uniapp录制语音

给大家讲解瞎 录制语音 的功能&#xff0c;这部分主要涉及到以下几个步骤&#xff1a;开始录音、停止录音、播放录音的功能 1.开始录音 (startRecording 函数) 当用户点击 开始录音 按钮时&#xff0c;调用 startRecording 函数开始录音。录音通过 uni.getRecorderManager() …

人工智能(AI)的不同维度分类

人工智能(AI)的分类 对机器学习进行分类的方式多种多样&#xff0c;可以根据算法的特性、学习方式、任务类型等不同维度进行分类这些分类都不是互斥的&#xff1a; 1、按数据模态不同:图像&#xff0c;文本&#xff0c;语音&#xff0c;多态等 2、按目标函数不同:判别式模型…

AIGC视频生成明星——Emu Video模型

大家好&#xff0c;这里是好评笔记&#xff0c;公主号&#xff1a;Goodnote&#xff0c;专栏文章私信限时Free。本文详细介绍Meta的视频生成模型Emu Video&#xff0c;作为Meta发布的第二款视频生成模型&#xff0c;在视频生成领域发挥关键作用。 &#x1f33a;优质专栏回顾&am…

DeepSeek-R1本地部署详细指南!(Ollama+Chatbox AI+Open WebUI)

一、前言 DeepSeek&#xff08;深度求索&#xff09;是一家中国人工智能企业&#xff0c;其在人工智能领域取得了显著成果&#xff0c;特别是其发布的新一代大模型DeepSeek-R1和DeepSeek-V3&#xff0c;受到了广泛关注。 DeepSeek官网&#xff1a;https://www.deepseek.com/ …

LLaMA-Factory DeepSeek-R1 模型 微调基础教程

LLaMA-Factory 模型 微调基础教程 LLaMA-FactoryLLaMA-Factory 下载 AnacondaAnaconda 环境创建软硬件依赖 详情LLaMA-Factory 依赖安装CUDA 安装量化 BitsAndBytes 安装可视化微调启动 数据集准备所需工具下载使用教程所需数据合并数据集预处理 DeepSeek-R1 可视化微调数据集处…