DeepSeek本地部署及接口调用

news/2025/2/15 6:11:37/

最近国产大模型 DeepSeek 非常火,DeepSeek 是一个开源模型,我们可以通过本地部署在自己的终端上随时使用,而且部署到本地后无需联网即可直接使用,以windows为例。

一、安装Ollama

如果想要在本地运行 DeepSeek 需要用到 Ollama 这个工具,这是一个开源的本地大模型运行工具。

我们可以访问 Ollama 进入 Ollama 官网下载 Ollama ,下载时有三个系统的安装包可选择,这里只需要选择下载我们电脑对应的操作系统版本即可,这里我选择的是 Windows 版本。

下载完毕点Install即可,这里不能选择安装的磁盘,默认C盘,安装完后可以修改到其他磁盘。

修改Ollama安装磁盘及模型下载存放磁盘

1.在希望的存储位置新建一个文件夹D:\AI

将C:\Users\XX\AppData\Local\Programs\Ollama这个文件夹移动到目标文件夹D:\AI目录下

2.修改环境变量,将用户变量由C:\Users\XX\AppData\Local\Programs\Ollama修改为新的目录D:\AI\Ollama

3.修改系统变量,用于指定后续模型下载位置在D:\AI\Ollama目录下新建一个models文件夹,用于存放模型,新建环境变量OLLAMA_MODELS指向此文件夹。

验证是否安装成功

Win+R输入cmd打开控制台,输入ollama按回车

二:下载部署 Deepseek 模型

回到 Ollama 网址中,在网页上方搜索框中输入 Deepseek-r1,这个 Deepseek-r1 就是我们需要本地部署的一个模型。

点7b这里可以下拉选择,根据自己电脑配置,选择合适自己的模型。下表为建议,我这里选的8b的。

选择好模型后,复制右边的一个命令(ollama run deepseek-r1:8b)。回到cmd控制台,运行此命令,就会下载对应模型,耐心等待安装完毕即可。需要记住此命令,关闭后需要根据此命令再次进入命令行。

做一个简单的测试,输出100以内的质数,会显示思考过程,然后输出结果

三:可视化图文交互界面 Chatbox

点击Chatbox进入Chatbox,弹出的设置框选择下面的使用本地模型。

选择Ollama API

为了将 Chatbox 连接到远程 Ollama 服务,建议点击这里阅读远程连接指南

其实很简单,配置两个环境变量,然后重启下ollama就行了。

重启 ollama 程序后,我们需要将 Chatbox 设置界面关闭并重新打开,重新打开 Chatbox 设置界面后即可选择 Model了,选择完点SAVE即可。

继续那个简单的测试,输出100以内的质数。

四:通过postman测试接口调用

查看ollama官方文档GitCode - 全球开发者的开源社区,开源代码托管平台,都是英文,看不懂也可以参考Ollama接口系统详解-CSDN,本地ollama部署默认端口是11434,模型推理我们调用/api/chat接口。


http://www.ppmy.cn/news/1572160.html

相关文章

【Abnormal build process termination: xxx, Unrecognized option: --add-opens】

Abnormal build process termination: *********************************** Unrecognized option: --add-opens Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. Program will exit. 原因:jdk版本和tomcat版本不匹配

47 AVL树的实现

目录 一、AVL树的概念 二、AVL树的实现 (一)AVL树的结构 (二)AVL树的插入 1、AVL树插入值的过程 2、平衡因子更新 3、实现代码 (三)旋转 1、旋转的规则 2、右单旋 3、右单旋的代码实现 4、左单…

【limit 1000000,10 加载很慢该怎么优化?】

在 SQL 数据库中,使用 LIMIT 子句进行分页查询时,如果偏移量(offset)很大,查询性能可能会变得非常差。 这是因为数据库需要扫描和跳过大量的记录才能到达所需的起始位置,然后再取出所需的记录数。 例如,LIMIT 1000000, 10 表示跳过前 100 万条记录,然后取接下来的 10…

芯麦GC6208:革新摄像机与医疗设备的智能音频解决方案

引言 在现代科技的推动下,音频设备和图像处理在各个领域的应用日益广泛。芯麦科技的GC6208是一款创新的音频处理芯片,具有高性能和多功能性,适用于摄像机、医疗设备等多种产品。本文将探讨GC6208在这些领域中的应用及其带来的优势。 1. 在摄…

Jetpack Compose初体验

入门学习 由于工作需要,我们当前要在老代码的基础上使用 Compose 进行新页面的开发,这项工作主要落在我的身上。因此,我需要先了解 Compose。 这里我入门看的是写给初学者的Jetpack Compose教程,Lazy Layout,有兴趣可…

优选驾考小程序

第2章 系统分析 2.1系统使用相关技术分析 2.1.1Java语言介绍 Java语言是一种分布式的简单的 开发语言,有很好的特征,在安全方面、性能方面等。非常适合在Internet环境中使用,也是目前企业级运用中最常用的一个编程语言,具有很大…

Python 调用 Azure OpenAI API

在人工智能和机器学习快速发展的今天,Azure OpenAI 服务为开发者提供了强大的工具来集成先进的 AI 能力到他们的应用中。本文将指导您如何使用 Python 调用 Azure OpenAI API,特别是使用 GPT-4 模型进行对话生成。 准备工作 在开始之前,请确保您已经: 拥有一个 Azure 账户…

Nginx实战_高性能Web服务器与反向代理的配置全解

1. 引言 1.1 Nginx简介 Nginx(发音为 “engine-x”)是一款轻量级、高性能的HTTP服务器和反向代理服务器。它以其高并发处理能力和低资源消耗而闻名,广泛应用于互联网企业中。Nginx不仅可以作为静态文件服务器,还可以通过反向代理功能与后端应用服务器协同工作。 1.2 Ngi…