【DeepSeek】本地快速搭建DeepSeek

ops/2025/2/3 9:00:49/

博主未授权任何人或组织机构转载博主任何原创文章,感谢各位对原创的支持!
博主链接

博客内容主要围绕:
       5G/6G协议讲解
       高级C语言讲解
       Rust语言讲解



文章目录

  • 本地快速搭建DeepSeek
    • 一、安装及配置ollama
    • 二、DeepSeek模型选择
    • 三、本地运行DeepSeek
    • 四、安装chatbox实现界面化问答

本地快速搭建DeepSeek

       首先,我们安装ollama程序,里面已经集成了适用于本地推理的deepseek-r1模型,之后我们根据本地显卡的显存大小选择一个合适的模型进行本地部署,最后我们使用chatbox搭建一个界面化的问答窗口。

一、安装及配置ollama

       首先下载 ollama,下载完成后双击 .exe 可执行文件安装即可,安装完成后配置模型下载地址(默认模型会下载到C盘用户目录的 .ollama 目录里):

  1. 首先进入高级系统设置
    在这里插入图片描述

  2. 点击环境变量
    在这里插入图片描述

  3. 新建系统环境变量
    在这里插入图片描述

  4. 设置 OLLAMA_MODELS环境变量
    在这里插入图片描述

  5. 安装完成后一路点击确定即可,然后我们在cmd窗口中执行 set 命令查看配置结果:
    在这里插入图片描述

  6. 最后进入cmd命令窗口执行

    ollama -v
    

    如果显示出版本号,表示正确安装

二、DeepSeek模型选择

       我们这里只介绍本地能够部署的 DeepSeek-R1-Distill 模型,

模型需要的显存
DeepSeek-R1-Distill-Qwen-1.5B3~4G
DeepSeek-R1-Distill-Qwen-7B14~16G
DeepSeek-R1-Distill-Llama-8B16~18G
DeepSeek-R1-Distill-Qwen-14B28~32G
DeepSeek-R1-Distill-Qwen-32B64~72G
DeepSeek-R1-Distill-Llama-70B140~160G

DeepSeek-R1-Distill 模型基于开源模型进行微调,使用DeepSeek-R1生成的样本,稍微改变了它们的配置和标记器。而DeepSeek-R1- zero和DeepSeek-R1是基于DeepSeek-V3-Base 训练的。

我们cmd命令窗口中执行 dxdiag 命令查看显存大小
      
在这里插入图片描述

三、本地运行DeepSeek

       通过上一步操作可以确定适用于我们的模型了(如果是集成显卡,请使用1.5B的模型),后面我们进入 ollama 网站,选择适用于我们的模型进行下载和部署:

在这里插入图片描述
复制命令后在cmd中执行即可,如果本地没有这个模型,会先下载,执行完成后就可以开始问答了

在这里插入图片描述

四、安装chatbox实现界面化问答

       通过命令行窗口的方式进行问答有些粗糙,我们下载 ChatBox 进行可视化的问答。下载安装后我们来配置参数,以使用本地的模型进行问答:

在这里插入图片描述



在这里插入图片描述


http://www.ppmy.cn/ops/155264.html

相关文章

数字化创新者如何利用开源2+1链动模式AI智能名片S2B2C商城小程序源码重塑市场地位

摘要:在数字化转型的浪潮中,数字化创新者正通过整合前沿技术,重塑行业格局,引领市场变革。本文深入探讨了开源21链动模式、AI智能名片以及S2B2C商城小程序源码等技术在数字化创新中的应用,旨在揭示这些技术如何助力企业…

VSCode设置内容字体大小

1、打开VSCode软件,点击左下角的“图标”,选择“Setting”。 在命令面板中的Font Size处选择适合自己的字体大小。 2、对比Font Size值为14与20下的字体大小。

【工欲善其事】利用 DeepSeek 实现复杂 Git 操作:从原项目剥离出子版本树并同步到新的代码库中

文章目录 利用 DeepSeek 实现复杂 Git 操作1 背景介绍2 需求描述3 思路分析4 实现过程4.1 第一次需求确认4.2 第二次需求确认4.3 第三次需求确认4.4 V3 模型:中间结果的处理4.5 方案验证,首战告捷 5 总结复盘 利用 DeepSeek 实现复杂 Git 操作 1 背景介绍…

利用ue5制作CG动画笔记

tips: 按住鼠标中键可以拖动枢轴点 在曲线编辑器中按住shift可以使曲线编辑保持在x轴 专业术语: CGI:计算机生成图象(computer-generated imagery)真实的不算,计算机生成的 Compositing:合…

科技快讯 | 领英“隐私风波”告一段落;华为余承东智驾 1345 公里返工,称智界 R7 打赢“鸡蛋保卫战”;谷歌翻译将增“提问”功能

谷歌安卓 16 快捷设置被曝告别悬浮窗,选项在面板内展开 科技媒体Android Authority于1月30日发布博文,称谷歌安卓16更新中,快捷面板(Quick Setting)功能可能回归旧版样式。当前安卓版Quick Setting点击磁贴会扩展为浮动…

Golang 并发机制-4:用Mutex管理共享资源

并发性是Go的强大功能之一,它允许多个线程(并发线程)同时执行。然而,权力越大,责任越大。当多个例程并发地访问和修改共享资源时,可能会导致数据损坏、竞争条件和不可预测的程序行为。为了解决这些问题&…

北大:三阶段学习优化多模态推理问答

📖标题:ReasVQA: Advancing VideoQA with Imperfect Reasoning Process 🌐来源:arXiv, 2501.13536 🌟摘要 🔸视频问答(VideoQA)是一项具有挑战性的任务,需要理解视频中…

【深度分析】微软全球裁员计划不影响印度地区,将继续增加当地就业机会

当微软的裁员刀锋掠过全球办公室时,班加罗尔的键盘声却愈发密集——这场资本迁徙背后,藏着数字殖民时代最锋利的生存法则。 表面是跨国公司的区域战略调整,实则是全球人才市场的地壳运动。微软一边在硅谷裁撤年薪20万美金的高级工程师&#x…