服务搭建 ollama + Deepseek + Open WebUI + 硅基流动API

embedded/2025/2/22 10:59:11/

文章目录

  • 一、ollama
    • ollama 安装
    • ollama 配置
  • 二、 Deepseek 模型下载
  • 三、 Open WebUI
    • 1、安装 Docker
    • 2、安装 WebUI 镜像
    • 3、确认镜像安装成功
    • 4、客户端访问
    • 5、平台使用
    • 5、外部服务器
    • 6、外部接入硅基流动API


I know, i know
地球另一端有你陪我




一、ollama

功能类似 docker,用于大数据模型的管理与应用,能够加载并执行大数据模型。
此处以 CentOS 7 为例
# 更新系统
sudo yum update -y# 安装必要的依赖
sudo yum install -y curl

ollama 安装

ollama linux版 官方地址
就是下面这句,可直接复制使用

curl -fsSL https://ollama.com/install.sh | sh

ollama 配置

确认安装完成。应能看到具体版本

ollama -v

启动服务

sudo systemctl start ollama

设置开机自启

sudo systemctl enable ollama


二、 Deepseek 模型下载

以 ollama提供的 deepseek-r1 为例 官方地址
拉取模型(同 docker 用法一致)

ollama pull deepseek-r1:7b
此处 7b 代表 7 billion ,即包含七十亿的训练模型参数,
通常参数越大模型效果越好,但会受到内存+显存的限制
满血的 Deepseek 有 671b 大小参数

展示本地模型

ollama list

运行模型

ollama run deepseek-r1:7b

在这里插入图片描述

/bye 退出


三、 Open WebUI

一个为大语言模型提供可视化界面的工具。为避免一些插件版本问题,尽量使用 docker 安装

1、安装 Docker

闭眼跑就完事了

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo yum install docker-ce
sudo systemctl start docker
sudo systemctl enable docker
docker --version

2、安装 WebUI 镜像

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这里的 3000 是外部端口号,可以自由修改成其他非冲突的端口,3001、3002等

3、确认镜像安装成功

正常盯着跑完就没问题的,可以看一眼 docker 容器

docker ps

在这里插入图片描述

4、客户端访问

服务器IP加上端口访问即可,如果无法访问可以看一下端口是否被禁
http://localhost:3000
http://XX.XX.XX.XX:3000

5、平台使用

第一步是注册,填写邮箱和用户名密码即可,之后可能会进入白屏,等待即可
在这里插入图片描述
正常本地安装完,这里可以正常看到 ollama 中存在的模型
在这里插入图片描述

5、外部服务器

如果是在外部服务器,这里需要多加一步
修改配置文件

vim /etc/systemd/system/ollama.servic

添加一句

Environment="OLLAMA_HOST=0.0.0.0:11434"

此时文件内容变成

...
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/bin/ollama serve
...

重启 ollama

systemctl daemon-reload
systemctl restart ollama

此时刷新外部界面,应该可以看到正常的模型

6、外部接入硅基流动API

注册登录硅基流动官网
注册 API
在这里插入图片描述
ollama 界面中添加模型
URL 固定是 https://api.siliconflow.cn/v1
密钥中填写 API 内容
模型 ID 添加需要的模型(如:deepseek-ai/DeepSeek-R1)记得点 +
在这里插入图片描述
之后可以正常看到模型选择
在这里插入图片描述


http://www.ppmy.cn/embedded/164303.html

相关文章

什么是接口自动化测试?接口自动化测试的目的是什么?

1、什么是接口测试 接口测试是对系统或组件之间的接口的测试。主要用于检测外部系统与系统间以及内部各个子系统间的交互点。测试重点是检查数据交换、传递和控制管理过程,以及系统间的相互逻辑依赖关系等。 2、接口测试的目的 1> 尽早介入软件测试流程&#…

智能硬件-01智能停车场

行业背景 随着现代人们生活水平的提高,私家车辆在不断增加,小区将面临着临时车用户要多于固定车用户的窘境,尤其是在早晚高峰时段车辆出入拥堵,对小区的车辆管理难度越来越大,对停车场收费员的岗位要求越来越高&#…

android13修改系统Launcher不跟随重力感应旋转

android13系统中需要修改系统原生Launcher不跟随重力感应旋转。 通过代码查找发现packages/apps/Launcher3/src/com/android/launcher3/states/RotationHelper.java中存在一个函数getAllowRotationDefaultValue,用于获取是否允许旋转的默认值。 public static bo…

2025最新智能优化算法:鲸鱼迁徙算法(Whale Migration Algorithm,WMA)求解23个经典函数测试集,MATLAB

一、鲸鱼迁徙算法 鲸鱼迁徙算法(Whale Migration Algorithm,WMA)是2025年提出的一种新颖生物启发式元启发式优化方法,其灵感来源于座头鲸的协作迁徙行为。该算法通过模拟座头鲸的迁徙和捕食行为,实现了在优化过程中的…

国际间重要的生态环境公约

为了解决环境问题,国际社会制定了许多重要的环境公约,这些公约涉及气候变化、生物多样性、污染防治和森林保护等领域。以下是一些具有代表性的环境公约及其主要内容: 气候变化领域 • 《联合国气候变化框架公约》(UNFCCC&#xf…

测试data_management函数

测试data_management函数 这是我最近正在开发的AI工具信息平台的部门功能模块测试,基于streamlit架构。整理出来与大家分享,也为我以后自己回溯找到资源。 为了测试 data_management 函数并结合 Excel 文件中的 “Tools” 表单内容,我们需要…

华为最新OD机试真题-找单词-Python-OD统一考试(E卷)

最新华为OD机试考点合集:华为OD机试2024年真题题库(E卷+D卷+C卷)_华为od机试题库-CSDN博客 题目描述 给一个字符串和一个 二维字符数组,如果该字符串存在于该数组中,则按字符串的字符顺序输出字符串每个字符所在单元格的位置下标字符串,如果找不到返回字符串“N” 1.需…

深度学习模型应用场景全解析:CNN、Transformer、BERT、RNN与GAN

在深度学习的广阔天地里,各种模型如繁星点点,各自闪烁着独特的光芒。今天,让我们一同探索这些模型的适用场景、优势与局限,为您在模型选择时提供一份实用的指南。 一、卷积神经网络(CNN) CNN,…