DeepSeek-R1本地部署实践

在这里插入图片描述

一、下载安装 --Ollama

Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。

下载方式：

方式1：官网下载：
官网地址：https://ollama.com/download
如果官网地址一直卡住下载不下来，选用下面的方法

方式2：GitHub下载：
GitHub官方链接：https://github.com/ollama/ollama
点击GitHub链接，relase 跳转到要下载的资源文件，鼠标右击点击复制链接。如以下示例类型：

https://github.com/ollama/ollama/releases/download/v0.4.3/OllamaSetup.exe

替换如下域名加速：

https://github.xzc888.top/

替换之后示例为：

https://github.xzc888.top/ollama/ollama/releases/download/v0.4.3/OllamaSetup.exe

下载安装，打开cmd执行ollama -h，回显成功：

PS C:\Users\Administrator> ollama -h
Large language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelstop        Stop a running modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelsps          List running modelscp          Copy a modelrm          Remove a modelhelp        Help about any commandFlags:-h, --help      help for ollama-v, --version   Show version informationUse "ollama [command] --help" for more information about a command.

打开ollama的Models:https://ollama.com/search ，搜索deepseek-r1，复制命令行执行即可。
如果你的显卡有8G以上显存，可以尝试7b的模型，如果没有就直接选择1.5b模型：

ollama run deepseek-r1

常用命令：

ollama list #获得已安装模型列表
ollama run llama3.1  #ollama run + 模型名 运行模型
ollama rm #ollama rm +模型名 删除模型

二、可视化页面 --Chatbox

下载Chatbox AI：https://chatboxai.app/zh

安装完成后进行如下设置即可：
在这里插入图片描述

参数说明：

Temperature（温度值），是大语言模型生成文本时用于调节输出随机性和多样性的参数。

数值越高，模型选择低概率词语的可能性越大，输出更加随机且富有创意；
数值越低，模型更倾向选择高概率词语，输出更确定且保守。

通过调整温度值，可在创造性和准确性之间进行平衡，以适应不同的应用场景。如创作者写文案可以调到最大。

另外，在专属对话设置中，还可以设置角色以及TopP：

在这里插入图片描述
TopP（又称核采样）是一种调节语言模型生成随机性的机制，通过对词汇的累积概率进行截断筛选，仅保留累积概率不超过阈值 p 的候选词，并从中按概率分布采样生成下一个词。

较高的 p 值（如 0.9 - 1.0）：保留更多候选词，生成结果更具多样性，但也可能增加随机性。
较低的 p 值（如 0.1 - 0.3）：保留更少的候选词，生成结果更加集中和确定。

与温度参数不同，TopP 动态地调整候选词的数量，适用于控制生成文本的随机性和连贯性。

提示词笔记：

1.真诚对话
帮我整理这份报告，我需要把这个报告上交给我的领导看，希望文字更加的清晰整洁，每一段话都能在句首列出重点；

2.通用公式
我要XX,要给XX用，希望能够达到XX效果，担心出现XX问题，帮我达到XX效果最大化；
举例：我要做一份旅游攻略，给我和女朋友旅游福建的时候用，希望能够更加提高我们的互动效果，能够达到更多的肢体接触，担心会不会出现太油腻太唐突的问题，帮我达到情侣感情升温的最大化，

3.问完问题之后，直接加上“说人话”这三个字
比如问“流体力学”是什么，一般情况会很官方的回答，但是如果你加上说人话三个字，那么将会很普通话的给你解析这个问题，适合；

4.反方向提问法
直接提问如果你是老板，你怎么批评这个方案？；这个结果你满意吗？请帮我复盘

5.反复问同一个问题；
Deepseek具有深度思考模型，如果你反复提问同一个问题，它就会总结累计回答的问题，为什么回答不够满意等，以及把思考的小细节显示出来，你会发现它的思考方式超级像一个逻辑能力超强的人类；

6.模仿思考
给一段谁谁的的语句，让它模仿学习，以它的思想去思考问题，比如，帮我以爱因斯坦的思想去思考这个问题，是否能够有什么解决方案

7.假设法
假设你是谈过10000次恋爱的感情达人；假设你是硅谷资深投资人，投过上百家互联网公司；假设你是健身教练，你应该怎么给你的学员准备增肌的一日三餐；

三、安装自己的知识库 --AnythingLLM

四、DeepSeek API使用

1，注册deepseek并生成apikey

deepseek的api平台：https://www.deepseek.com/
选中apikeys菜单 -》创建API-KEY
官方文档：https://api-docs.deepseek.com/zh-cn/

本地调用案例如下：

curl http://127.0.0.1:11434/v1/chat/completions \-H "Content-Type: application/json" \-H "Authorization: Bearer <DeepSeek API Key>" \-d '{"model": "deepseek-r1","messages": [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": "Hello!"}],"stream": false}'

其中model可以在本地cmd里查看：ollama list。测试结果：
在这里插入图片描述