本地部署【LLM-deepseek】大模型 ollama+deepseek/conda(python)+openwebui/docker+openwebui

server/2025/2/13 12:27:01/

通过ollama本地部署deepseek
总共两步
1.模型部署
2.[web页面]

参考官网
ollama:模型部署
https://ollama.com/
open-webui:web页面
https://github.com/open-webui/open-webui

设备参考 Mac M 芯片 windows未知

蒸馏模型版本:deepseek-r1:14b 运行情况macminim2 24+256 本地部署后内存舒缓,不影响电脑其他软件使用macminim4 16+256 本地部署后内存紧张,影响电脑其他软件使用内存占用情况:11G -> 21.72G 模型思考时,大概会占用11到12G的内存 

1.ollama:模型部署

	# 下载 ollamahttps://ollama.com/# 运行 deepseek 选择自己设备适合的版本[:14b],官网看命令 ollama run deepseek-r1:14b # 当前终端运行,可在终端交互ollama run deepseek-r1:14b & disown   # 放到后台去跑,终端页面关掉也不会关闭此模型

python_32">2.open-webui:web页面 推荐python的终端部署方式

dockerweb_34">2.1 docker部署web页面

	#docker pull ghcr.io/open-webui/open-webui:main# 创建本地目录,避免重启后数据丢失mkdir /Users/admin/program/docker/instance/open-webui/datacd /Users/admin/program/docker/instance/open-webui# 启动容器docker run -d -p 3000:8080 -v $PWD/data:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

pythonweb_python__45">2.2 python部署web页面 需要在有python环境下执行 推荐

	pip install open-webuiopen-webui serveopen-webui serve & disown # This will start the Open WebUI server, which you can access at http://localhost:8080

condapython_53">2.3 [忽略] conda创建python环境

	conda create -n openwebui python=3.12 -y # python=3.12:指定 Python 版本 -y:自动确认安装conda initconda activate openwebuipip install open-webuiopen-webui serve							# 这个不能关闭终端open-webui serve & disown  					# 使用这个启动成功后,可以关闭终端了open-webui serve > /dev/null 2>&1 & disown 	# 使用这个启动成功后,可以关闭终端了# This will start the Open WebUI server, which you can access at http://localhost:8080# 放在后台的任务如何查看呢jobs							# 使用 jobs 命令查看当前作业状态。ps aux | grep "your-command"	# 或者使用 ps aux | grep "your-command" 检查进程是否存在。

http://www.ppmy.cn/server/167321.html

相关文章

总结Thread的基本用法

1. 线程创建 1.1 创建一个类, 继承Thread, 重写run方法 class MyThread extends Thread {Overridepublic void run() {while (true) {System.out.println("hello thread");try {// 这里只能 try catch, 不能 throws.// 此处是方法重写. Java 的方法重写规则不允许子…

DeepSeek与核货宝订货系统的协同进化:智能商业范式重构

数据处理与分析方面 深度数据洞察:利用Deepseek强大的智能数据挖掘与分析能力,处理核货宝订货系统中的海量订单数据、客户数据、商品数据等。比如分析不同地区、不同时间、不同客户群体的订货偏好和趋势,为批发订货企业制定精准的采购、库存…

CNN-day8-经典神经网络GoogleNet

day9-经典神经网络GoogleNet 1 11卷积 卷积核的尺寸等于1的特例,用来做升维和降维,减少参数量,改变通道数,通道间的特征融合 1.1作用 1.1.1实现通道间特征的融合 常规转换公式:0.2989R 0.5870G 0.1140B import…

我用AI做数据分析之四种堆叠聚合模型的比较

我用AI做数据分析之四种堆叠聚合模型的比较 这里AI数据分析不仅仅是指AI生成代码的能力,我想是测试AI数据分析方面的四个能力,理解人类指令的能力、撰写代码的能力、执行代码的能力和解释结果的能力。如果这四个能力都达到了相当的水准,才可…

Python Web 框架

1. 三个主流的 Python Web 框架: Django:是一个高级的Python Web框架,鼓励快速开发和干净、务实的设计。它具有丰富的功能,如内置的管理界面、数据库抽象层、表单处理等,适用于大型复杂的Web应用开发。FastAPI&#x…

Unity状态机的实现方法一

Unity状态机知识点整理 1. 状态机基本概念 1.1 什么是状态机 Unity常见的状态机管理分为三种: 枚举状态机通过实现接口的方式多态出的更加便于维护的状态机Unity Animator自带的StateMachineBehaviour 1.2 不同状态机实现方式的对比 自定义状态机(…

TDengine 产品由哪些组件构成

目 录 背景产品生态taosdtaosctaosAdaptertaosKeepertaosExplorertaosXtaosX Agent应用程序或第三方工具 背景 了解一个产品,最好从了解产品包括哪些内容开始,我这里整理了一份儿 TDegnine 产品包括有哪些组件,每个组件作用是什么的说明&a…

【算法】动态规划专题⑪ —— 区间DP python

目录 引入进入正题回归经典总结 引入 区间动态规划(区间DP)适用于解决涉及区间最优化的经典问题,如石子合并、最长回文子序列等。 进入正题 石子合并 https://www.acwing.com/problem/content/284/ 有 N 堆石子排成一排,其编号为…