open-webui安装部署

devtools/2024/9/23 6:39:25/

一、简介

         Open-WebUI是一个开源项目,旨在为本地大语言模型提供一个仿照ChatGPT用户界面的图形化界面。这个项目不仅提供了一个直观的界面,还支持多种功能,包括代码高亮、数学公式输入、网页浏览、预设提示词、本地RAG集成、对话标记、下载模型、聊天记录以及语音支持等。            Open WebUI的设计受到了ChatGPT的启发,旨在确保用户获得友好易用的体验,无论是在桌面电脑还是移动设备上,都能享受一致而流畅的用户体验。

源码地址:Open-WebUI

官网地址:官网

二、安装

       如果支持GPU,则使用下面的指令安装,相信是多数人的选择。官网的这个指令简单的另人发指。其实还有许多准备工作。虽然官网也给了其它的不同条件的指令,但你要知道人家是不考虑你在国内的这个X因素的。

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

关于docker的安装请看另一篇博文(docker安装)。运行上面指令后怎样?啥也不是。

1、首先你要添加一个参数,因为国内无法连接huggingface.

-e HF_ENDPOINT=https://hf-mirror.com

2、如果你单独安装的Ollama,则需要添加参数 

--network=host
-e OLLAMA_BASE_URL=http://127.0.0.1:11434 

3、修改数据存储的位置

-v /data/open-webui/data:/app/backend/data \

4、如果要支持GPU则需要添加以下参数,还要先进行第5步的安装

--gpus all

5、如果要支持GPU,还要先安装nvidia-container-runtime,否则当你运行open-webui时会报错:

      docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].

依次运行下面的指令,安装这个环境,相信初始安装的朋友都没有安装过这个。

#下载GPG密钥
curl -fsSL https://nvidia.github.io/nvidia-container-runtime/gpgkey | sudo gpg --dearmor -o /etc/apt/keys/nvidia.gpg#配置环境
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
&& curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
sed 's#deb https://#deb [signed-by=/etc/apt/keys/nvidia.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list#更新源
sudo apt-get update#安装运行环境
sudo apt-get install nvidia-container-runtime#重启docker服务
systemctl restart docker

三、最终的安装指令,仅供参考,根据自己的需要修改参数。尤其是上面第5步。下面的指令是不带有GPU的指令。

sudo docker run -d \--network=host \-v /data/open-webui/data:/app/backend/data \-e HF_ENDPOINT=https://hf-mirror.com \-e OLLAMA_BASE_URL=http://127.0.0.1:11434 \-e DEFAULT_USER_ROLE=user \-e DEFAULT_MODELS=qwen1 5-14b \-e ENABLE_IMAGE_GENERATION=True \-e local_files_only=True \--name open-webui \--restart always \ghcr.io/open-webui/open-webui:main


http://www.ppmy.cn/devtools/113896.html

相关文章

图像检测【YOLOv5】——深度学习

Anaconda的安装配置:(Anaconda是一个开源的Python发行版本,包括Conda、Python以及很多安装好的工具包,比如:numpy,pandas等,其中conda是一个开源包和环境管理器,可以用于在同一个电脑…

【SSRF漏洞】——gopherus工具伪造

改变的确很难,但结果值得冒险 本文如有错误之处,还请各位师傅指正 目录 一.gopherus概述 二.gopherus安装使用 三.gopherus覆盖的服务 四.使用案例 web359: web360: 一.gopherus概述 Gopherus是一个专为生成Gopher协议Payloa…

记录生产环境,通过域名访问的图片展示不全,通过ip+端口的方式访问图片是完整的

原因:部署nginx的服务器硬盘满了 排查发现nginx日志文件占用了大量硬盘 解决方案: 删除该文件,重启nginx服务,问题解决。

电脑监控如何多画面显示?3个妙招分享,第一个你学会了吗?

电脑监控实现多画面显示,可以通过多种方法实现,以下是三个妙招的分享: 1. 使用专业监控软件 方法概述: 专业监控软件如安企神等,提供了强大的多画面显示功能。 这些软件通常支持自定义画面布局,如4分屏、…

OV-DINO:统一开放词汇检测与语言感知选择性融合

文章目录 摘要1、引言2、相关工作3、方法3.1、概述3.2、统一数据集成3.3、语言感知选择性融合3.4、以检测为中心的预训练 4、实验4.1、预训练数据和评估指标4.2、实施细节4.3、主要结果4.4、消融研究4.5、定性结果 5 、讨论 摘要 开放词汇检测(Open-vocabulary Det…

信号与线性系统综合实验

文章目录 一、实验目的二、实验内容及其结果分析(一)基础部分(二)拓展部分(三)应用设计部分 三、心得体会 一、实验目的 1、掌握连续时间信号与系统的时域、频域综合分析方法;   2、掌握运用M…

2024年数学建模比赛题目及解题代码

目录 一、引言 1. 1竞赛背景介绍 1.1.1数学建模竞赛概述 1.1.2生产过程决策问题在竞赛中的重要性 1.2 解题前准备 1.2.2 工具与资源准备 1.2.3 心态调整与策略规划 二、问题理解与分析 三、模型构建与求解 3.1 模型选择与设计 3.1.1 根据问题特性选择合适的数学模型类…

清理C盘缓存的垃圾,专业清理C盘缓存垃圾的步骤与策略

在维护计算机系统的过程中,定期清理C盘(通常是系统盘)中的缓存和垃圾文件是一项至关重要的任务。这不仅能有效释放磁盘空间,提升系统性能,还能减少因磁盘空间不足导致的程序运行缓慢或错误。以下是一系列专业且安全的步…