linux本地部署deepseek-R1模型

ops/2025/2/3 20:22:40/

国产开源大模型追平甚至超越了CloseAI的o1模型,大国崛起时刻!!!

在这里插入图片描述

DeepSeek R1 本地部署指南
  在人工智能技术飞速发展的今天,本地部署AI模型成为越来越多开发者和企业关注的焦点。本文将详细介绍如何在本地部署DeepSeek R1,同时涵盖Ollama和Chatbox AI的安装与配置。通过这些步骤,你可以在本地环境中高效地运行和使用这些强大的AI工具。

  一、DeepSeek简介
在这里插入图片描述

  DeepSeek是一个专注于人工智能研究与应用的平台,致力于提供高效、灵活且易于部署的AI解决方案。DeepSeek R1是其最新版本,支持多种AI模型的本地部署,能够满足不同场景下的需求。https://www.deepseek.com/它具备以下特点:
  1. 轻量级:模型经过优化,适合在资源有限的设备上运行。
  2. 高效推理:能够在低延迟下进行实时推理。
  3. 可扩展性:支持自定义训练和微调,满足不同场景需求。

  二、Ollama简介与安装
在这里插入图片描述

  Ollama是一个开源的AI模型管理工具,用于简化AI模型的部署和管理。它支持多种模型格式,能够与DeepSeek R1无缝集成。以下是Ollama的安装步骤:
  1. 下载Ollama:访问Ollama的官方网站或GitHub页面,下载最新版本的安装包:https://ollama.com/download
  2. 安装Ollama:
    (1)对于Windows系统,双击安装包并按照提示完成安装。
    (2)对于Linux系统,使用以下命令安装:
      curl -fsSL https://ollama.com/install.sh | sh
  3. 启动Ollama服务:安装完成后,运行以下命令查看是否安装成功:
      ollama -v
  4. 验证安装:打开浏览器,访问http://localhost:11434,如果页面显示Ollama的界面,则说明安装成功。
在这里插入图片描述
  进入ollama的模型库,选择deepseek-r1,就能够看到里面的各种安装命令了,可以选择不同大小的模型进行本地部署,但也是需要与自己电脑的配置相适应,否则GPU容易出问题
在这里插入图片描述
在这里插入图片描述
  如果使用 4-bit 量化,显存需求:1.5B:约 1 GB; 7B:约 4 GB ;8B:约 4.5 GB; 14B:约 8 GB; 32B:约 18 GB; 70B:约 40 GB

  使用对应的命令安装deepseek模型:
  ollama run deepseek-r1:7b

  三、Chatbox AI简介与安装

  Chatbox AI是一个基于对话的AI平台,能够实现自然语言交互。它支持多种语言和场景,可以与Ollama和DeepSeek R1配合使用,提供更丰富的交互体验。以下是Chatbox AI的安装步骤:
  1. 下载Chatbox AI:访问Chatbox AI的官方网站,下载最新版本的安装包: https://chatboxai.app/zh
  2. 安装Chatbox AI:
    (1)对于Windows系统,解压下载的文件,并运行安装程序。
   (2)对于Linux系统,使用以下命令运行:
     sudo ./Chatbox-1.9.5-x86_64.AppImage
  3. 配置Chatbox AI:打开配置文件config.json或者直接打开ui,根据需要修改参数,例如连接Ollama的地址等。进入软件后点击设置,然后选择ollama的api,加载之前下载的模型即可。在这里插入图片描述在这里插入图片描述

  4. 测试模型:与部署后的模型进行对话:
     chatbox-ai

  注意:除了chatbox可以进行UI可视化之外,还可以用浏览器插件来实现,我们只需要安装一下page assist插件在这里插入图片描述

page assis链接
  安装到浏览器后直接打开即可自动链接已经下载的模型:
在这里插入图片描述

  四、总结
  通过上述步骤,你可以在本地成功部署DeepSeek R1,并安装Ollama和Chatbox AI。这些工具的结合将为你的AI项目提供强大的支持,无论是模型训练、推理还是交互式应用,都能轻松实现。希望本文对你有所帮助,祝你在AI开发的道路上越走越远!
2. 模型信息后记
DeepSeek-R1
模型 #总参数 #已激活参数 上下文长度
DeepSeek-R1-Zero 671B 37B 128千
DeepSeek-R1 671B 37B 128千
DeepSeek-R1-Zero 和 DeepSeek-R1 基于 DeepSeek-V3-Base 进行训练。有关模型架构的更多详细信息,请参阅DeepSeek-V3存储库。
DeepSeek-R1-Distill 模型
模型 基础模型
DeepSeek-R1-Distill-Qwen-1.5B Qwen2.5-Math-1.5B
DeepSeek-R1-Distill-Qwen-7B Qwen2.5-Math-7B
DeepSeek-R1-Distill-Llama-8B Llama-3.1-8B
DeepSeek-R1-Distill-Qwen-14B Qwen2.5-14B
DeepSeek-R1-Distill-Qwen-32B Qwen2.5-32B
DeepSeek-R1-Distill-Llama-70B Llama-3.3-70B-Instruct
DeepSeek-R1-Distill 模型基于开源模型进行了微调,使用了 DeepSeek-R1 生成的样本。deepseek对其配置和分词器进行了轻微更改。请使用deepseek的设置来运行这些模型。


http://www.ppmy.cn/ops/155388.html

相关文章

【设计模式-行为型】解释器模式

一、什么是解释器模式 到此为止23种解释器都将介绍完毕,下面说最后一个设计模式解释器模式。有许多谍战剧大家都会看过,在谍战剧中经常会有一些主要情节需要进行加密传递。间谍会接受或者发送加密信息。比如用收音机接收指令或者消息。间谍会根据特定的解…

MySQL 9.2.0 的功能

MySQL 9.2.0 的功能 MySQL 9.2.0 的功能新增、弃用和删除内容如下: 新增功能 权限新增12:引入了CREATE_SPATIAL_REFERENCE_SYSTEM权限,拥有该权限的用户可执行CREATE SPATIAL REFERENCE SYSTEM、CREATE OR REPLACE SPATIAL REFERENCE SYSTEM…

React 19 新特性探索:提升性能与开发者体验

React 作为最受欢迎的 JavaScript 库之一,不断推陈出新,以满足日益复杂的应用开发需求。React 19 的发布,为开发者带来了一系列令人振奋的新特性和改进,旨在全方位提升应用性能、开发效率以及用户体验。接下来,让我们深…

Java项目: 基于SpringBoot+mybatis+maven+mysql实现的疫苗发布和接种预约管理系统(含源码+数据库+开题报告+毕业论文)

一、项目简介 本项目是一套基于SpringBootmybatismavenmysql疫苗发布和接种预约管理系统 包含:项目源码、数据库脚本等,该项目附带全部源码可作为毕设使用。 项目都经过严格调试,eclipse或者idea 确保可以运行! 该系统功能完善、…

springboot中路径默认配置与重定向/转发所存在的域对象

Spring Boot 是一种简化 Spring 应用开发的框架,它提供了多种默认配置和方便的开发特性。在 Web 开发中,路径配置和请求的重定向/转发是常见操作。本文将详细介绍 Spring Boot 中的路径默认配置,并解释重定向和转发过程中存在的域对象。 一、…

snmp-check:SNMP 设备枚举器!全参数详细教程!Kali Linux教程!黑客渗透教程!

简介 SNMPCHECK 是根据GPL许可证分配的开源工具。它的目标是自动化以 SNMP 协议支持(Windows,Unix,网络设备,打印机...)收集任何设备信息的过程。就像 SNMPWALK 一样,SNMPCHECK 使您可以列举 SNMP 设备&am…

stm32硬件实现与w25qxx通信

使用的型号为stm32f103c8t6与w25q64。 STM32CubeMX配置与引脚衔接 根据stm32f103c8t6引脚手册,采用B12-B15四个引脚与W25Q64连接,实现SPI通信。 W25Q64SCK(CLK)PB13MOSI(DI)PB15MISO(DO)PB14CS&#xff08…

C++ Primer 标准库类型string

欢迎阅读我的 【CPrimer】专栏 专栏简介:本专栏主要面向C初学者,解释C的一些基本概念和基础语言特性,涉及C标准库的用法,面向对象特性,泛型特性高级用法。通过使用标准库中定义的抽象设施,使你更加适应高级…