服务搭建 ollama + Deepseek + Open WebUI + 硅基流动API

devtools/2025/2/24 0:39:14/

文章目录

  • 一、ollama
    • ollama 安装
    • ollama 配置
  • 二、 Deepseek 模型下载
  • 三、 Open WebUI
    • 1、安装 Docker
    • 2、安装 WebUI 镜像
    • 3、确认镜像安装成功
    • 4、客户端访问
    • 5、平台使用
    • 5、外部服务器
    • 6、外部接入硅基流动API


I know, i know
地球另一端有你陪我




一、ollama

功能类似 docker,用于大数据模型的管理与应用,能够加载并执行大数据模型。
此处以 CentOS 7 为例
# 更新系统
sudo yum update -y# 安装必要的依赖
sudo yum install -y curl

ollama 安装

ollama linux版 官方地址
就是下面这句,可直接复制使用

curl -fsSL https://ollama.com/install.sh | sh

ollama 配置

确认安装完成。应能看到具体版本

ollama -v

启动服务

sudo systemctl start ollama

设置开机自启

sudo systemctl enable ollama


二、 Deepseek 模型下载

以 ollama提供的 deepseek-r1 为例 官方地址
拉取模型(同 docker 用法一致)

ollama pull deepseek-r1:7b
此处 7b 代表 7 billion ,即包含七十亿的训练模型参数,
通常参数越大模型效果越好,但会受到内存+显存的限制
满血的 Deepseek 有 671b 大小参数

展示本地模型

ollama list

运行模型

ollama run deepseek-r1:7b

在这里插入图片描述

/bye 退出


三、 Open WebUI

一个为大语言模型提供可视化界面的工具。为避免一些插件版本问题,尽量使用 docker 安装

1、安装 Docker

闭眼跑就完事了

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo yum install docker-ce
sudo systemctl start docker
sudo systemctl enable docker
docker --version

2、安装 WebUI 镜像

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这里的 3000 是外部端口号,可以自由修改成其他非冲突的端口,3001、3002等

3、确认镜像安装成功

正常盯着跑完就没问题的,可以看一眼 docker 容器

docker ps

在这里插入图片描述

4、客户端访问

服务器IP加上端口访问即可,如果无法访问可以看一下端口是否被禁
http://localhost:3000
http://XX.XX.XX.XX:3000

5、平台使用

第一步是注册,填写邮箱和用户名密码即可,之后可能会进入白屏,等待即可
在这里插入图片描述
正常本地安装完,这里可以正常看到 ollama 中存在的模型
在这里插入图片描述

5、外部服务器

如果是在外部服务器,这里需要多加一步
修改配置文件

vim /etc/systemd/system/ollama.servic

添加一句

Environment="OLLAMA_HOST=0.0.0.0:11434"

此时文件内容变成

...
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/bin/ollama serve
...

重启 ollama

systemctl daemon-reload
systemctl restart ollama

此时刷新外部界面,应该可以看到正常的模型

6、外部接入硅基流动API

注册登录硅基流动官网
注册 API
在这里插入图片描述
ollama 界面中添加模型
URL 固定是 https://api.siliconflow.cn/v1
密钥中填写 API 内容
模型 ID 添加需要的模型(如:deepseek-ai/DeepSeek-R1)记得点 +
在这里插入图片描述
之后可以正常看到模型选择
在这里插入图片描述


http://www.ppmy.cn/devtools/161251.html

相关文章

记录 pycharm 无法识别提示导入已有的模块解决方案 No module named ‘xxx‘

在windows下,使用pycharm开发项目,每个项目都有自己独立的虚拟环境,有时候就会出现,在该项目中明明已经安装了某个模块,但是在写代码的时候就是导入不了,无法识别导入,在运行的时候却又是正常的…

区块链中的数字签名:安全性与可信度的核心

数字签名是区块链技术的信任基石,它像区块链世界的身份证和防伪标签,确保每一笔交易的真实性、完整性和不可抵赖性。本文会用通俗的语言,带你彻底搞懂区块链中的数字签名! 文章目录 1. 数字签名是什么?从现实世界到区块…

python用 PythonNet 从 Python 调用 WPF 类库 UI 用XAML

pythonnet 是pythonhe.net通用的神器不多介绍了. 这次这基本上跟python没有关系了. 和winform一样先导包 import clr clr.AddReference("PresentationFramework.Classic, Version3.0.0.0, Cultureneutral, PublicKeyToken31bf3856ad364e35") clr.AddReference(&…

我的电脑是 3070ti 能用那个级别的deepseek

你的电脑配备了 NVIDIA 3070 Ti,这是一款性能较强的消费级显卡,拥有 8GB 显存。虽然它的性能无法与专业级 GPU(如 A100 或 H100)相比,但仍然可以用于运行和微调一些中小规模的深度学习模型,包括 DeepSeek 的相关任务。 以下是基于你的硬件配置,可以运行的 DeepSeek 模型…

本地化部署 DeepSeek:从零到一的完整指南

本地化部署 DeepSeek:从零到一的完整指南 个人主页:顾漂亮 文章专栏:AI学习 目录 引言什么是 DeepSeek?为什么选择本地化部署?DeepSeek 本地化部署的前期准备 硬件需求软件需求环境配置 DeepSeek 本地化部署步骤 步骤…

Vue框架中Ajax请求的实现方式:使用axios库或fetch API

在Vue框架中,Ajax请求是前后端交互的重要手段,用于异步获取数据。Vue本身不包括Ajax功能,但可以通过引入外部库来实现。常用的有 axios库和原生的 fetch API。下面将详细介绍这两种实现方式,以及它们的使用示例。 使用Axios库 A…

算法日记24:leetcode198打家劫舍(DFS->记忆化搜索->倒序动态规划->循序动态规划)

一、递归写法(dfs深搜) 1.1)思路讲解 递归思想: dfs(x)表示从第x家店开始的最大劫掠值。对每一家店铺,有两个选择: 不劫掠 当前店铺,即跳到下家 dfs(x1)。劫掠 当前店铺,且跳过下家…

DeepSeek掘金——SpringBoot 调用 DeepSeek API 快速实现应用开发

Spring Boot 实现 DeepSeek API 调用 1. 项目依赖 在 pom.xml 中添加以下依赖: <dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-webflux</artifactId></dependency>&l…