DeepSeek本地部署的一些使用体会

news/2025/2/5 9:46:43/

春节期间我也尝试了一下Deepseek的本地部署,方案选用了Ollama + Chatbox或AnythingLLM。Chatbox里有很多有意思的“助手”,而AnythingLLM支持本地知识库。

网上教程很多,总的来说还是很方便的,不需要费太多脑子。甚至可以这么说,网络是否通畅才是决定安装体验的唯一制约因素。像Ollama,第一次运行需要下载模型;而AnythingLLM,安装过程中还要下载巨大的Ollama库包。其实我还想实验前端用Docker方式部署Open-WebUI,但现在还卡在尝试下载docker中。

以下是各工具的下载或部署方式链接:

Download Ollama on Windows
Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载
Download AnythingLLM for Desktop
GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
⏱️ Quick Start | Open WebUI

具体安装方式就不赘述了,这些工具的安装配置网上随便一搜就有很多博主喂饭级的教程,一步步跟着做就行了。这里说说我的实际使用感受吧。

必须首先提一下我的电脑配置。它是2年前买的当时想用来学AI画画。32G内存,12代i5,1T Nvme SSD,N记显卡 A2000 12G工包版。

看到一个说法,模型标号建议选和自己显卡内存接近的。我在刚装完Ollama之后首先选择的是deepseek-r1:7b模型。询问它的知识库截至日期,回答2024年7月,回答的没毛病并且速度能接受,优秀。但问多了也会犯天底下所有AI都会犯的错:一本正经的胡说八道。当然这跟模型规模也有关系。比如,问7b上海市长宁区有什么旅游景点,它的推荐名单里有“长宁区静安寺”。这是错误的,静安寺属于静安区,但确实离长宁和静安的交界处很近。所以直接上强度,下载32b模型再问。果然同样的问题32b上就不存在了,但代价是基本上只能每秒钟三四个汉字往外蹦的节奏。。。没事,能(mei)忍(qian)。

另一个很有意思的印象是,如果套用拟人化星座刻板印象来形容离线DS-R1,我会说它是处女座学霸。问它如何用1,2,3,6算24点,它原生就知道规则,但开启穷举尝试后一直都没能算对。鉴于我那破电脑感人的蹦字速度,算了十来次没成功后就按了ctrl + c放弃,并岔开话题问它24点是谁发明的。谁知它还会钻牛角尖,因为还处于同一个会话中,上下文中还保留着刚才的问题,所以居然又开始尝试用1,2,3,6怎么算24点。。。吐血。。。

不管怎样,总的说来DS确实很牛。尤其是配上AnythingLLM做前端之后上传自定义的文件做知识库。这对于一个注重隐私保护的应用(比如医院的业务)来说太重要了。


http://www.ppmy.cn/news/1569475.html

相关文章

基于机器学习的布伦特原油价格的分析与研究

项目:基于机器学习的布伦特原油价格的分析与研究 摘 要 布伦特原油期货及现货市场所构成的布伦特原油定价体系,最多时竟涵盖了世界原油交易量的80%,即使在纽约原油价格日益重要的今天,全球仍有约65%的原油交易量,是以…

基于 STM32 的智能电梯控制系统

1. 引言 随着城市化进程的加速,高层建筑日益增多,电梯作为垂直交通工具的重要性愈发凸显。传统电梯控制系统在运行效率、安全性和智能化程度上已难以满足现代需求。智能电梯控制系统能够实时监测电梯的运行状态、乘客需求,并根据这些信息优化…

使用VCS对Verilog/System Verilog进行单步调试的步骤

Verilog单步调试: System Verilog进行单步调试的步骤如下: 1. 编译设计 使用-debug_all或-debug_pp选项编译设计,生成调试信息。 我的4个文件: 1.led.v module led(input clk,input rst_n,output reg led );reg [7:0] cnt;alwa…

【ChatGPT:开启人工智能新纪元】

一、ChatGPT 是什么 最近,ChatGPT 可是火得一塌糊涂,不管是在科技圈、媒体界,还是咱们普通人的日常聊天里,都能听到它的大名。好多人都在讨论,这 ChatGPT 到底是个啥 “神器”,能让大家这么着迷?今天咱就好好唠唠。 ChatGPT,全称是 Chat Generative Pre-trained Trans…

九. Redis 持久化-RDB(详细讲解说明,一个配置一个说明分析,步步讲解到位)

九. Redis 持久化-RDB(详细讲解说明,一个配置一个说明分析,步步讲解到位) 文章目录 九. Redis 持久化-RDB(详细讲解说明,一个配置一个说明分析,步步讲解到位)1. RDB 概述2. RDB 持久化执行流程3. RDB 的详细配置4. RDB 备份&恢…

Nacos 的介绍和使用

1. Nacos 的介绍和安装 与 Eureka 一样,Nacos 也提供服务注册和服务发现的功能,Nacos 还支持更多元数据的管理, 同时具备配置管理功能,功能更丰富。 1.1. windows 下的安装和启动方式 下载地址:Release 2.2.3 (May …

Github 2025-02-03 开源项目周报 Top14

根据Github Trendings的统计,本周(2025-02-03统计)共有14个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量Python项目3TypeScript项目3非开发语言项目2JavaScript项目2Ruby项目1HTML项目1Go项目1Svelte项目1C++项目1Jupyter Notebook项目1Shell项目1Ol…

Kafka常见问题之 org.apache.kafka.common.errors.RecordTooLargeException

文章目录 Kafka常见问题之 org.apache.kafka.common.errors.RecordTooLargeException: The message is 1,048,576 bytes when serialized which is larger than the maximum request size.1. 错误解析2. 错误原因3. 错误复现案例3.1 生产者发送超大消息 4. 解决方案4.1 方法 1&…