大模型本地部署实践:Ollama+Open-WebUI(MacOS)

devtools/2024/11/24 15:11:58/

目录

什么是Ollama

Ollama安装

对话界面可视化?Open-WebUI!

安装Open-WebUI


什么是Ollama

Ollama是一个为简化大语言模型本地部署与交互的开源框架。它提供了用户友好的接口,帮助开发者和模型爱好者在没有依赖外部API的基础上高效地运行、管理和定制大语言模型。

Ollama支持各种各样的开源大模型,包括但不限于:

Llama系列、Mistral系列、Qwen系列、Gemma系列等,可以在官方Library浏览支持的模型:

libraryGet up and running with large language models.icon-default.png?t=O83Ahttps://ollama.com/library

注意:请保证至少有8GB RAM来运行7B模型,16GB来运行13B模型,33B模型则至少需要32GB RAM。

Ollama安装

进入Ollama官网点击下载:Ollama

根据安装程序安装完成后,在命令行输入如下指令:

ollama run llama3.2

运行指令后,将会自动下载并安装本地运行的Llama3.2模型 

下载完成后即可对话。

若想结束对话:

/bye

若想删除以下载的模型,运行如下命令:

ollama rm <model_name>

 后续想要再运行模型,需要记得启动Ollama哦~

对话界面可视化?Open-WebUI!

Open WebUI是一个功能丰富、可扩展且用户友好的大模型运行WebUI。它支持包括Ollama和OpenAI compatible APIs。

安装Open-WebUI

首先,Open-WebUI需要Docker环境:安装Docker DeskTop

Docker Desktop: The #1 Containerization Tool for Developers | Docker

Docker运行后,如果Ollama部署在本地,在命令行使用下述命令即可运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

这个命令将8080端口映射至3000,只需要在浏览器中输入:http://localhost:3000 即可访问。

(open-webui启动需要一定时间,所以可以过一段时间后再访问3000端口)

启动后,登录帐号即可使用Open-WebUI来和大模型对话啦~

停止运行Open-WebUI:

docker stop open-webui

更多信息可查看Open-WebUI官方文档:⭐ Features | Open WebUI


http://www.ppmy.cn/devtools/136572.html

相关文章

【Python】selenium获取定位元素大小、电脑屏幕的像素、屏幕尺寸信息、以及网页尺寸的方法

我们在使用selenium 进行自动化测试的时候&#xff0c;有时候会使用获取网页的大小做一些计算&#xff0c;例如测试进行滑动验证码时&#xff0c;需要计算滑块在屏幕的相对大小&#xff0c;就要用到以上这些部分的内容。 1.1 获取某个的位置信息&#xff1a; button_ driver…

蓝桥杯某C语言算法题解决方案(质因数分解)

蓝桥杯原题&#xff1a;将一个正整数分解质因数例如&#xff1a;输入90&#xff0c;打印出90 2 * 3 * 3 * 5。 声明&#xff1a;该题目是否为蓝桥杯原题未知&#xff0c;我是从CSDN上面查到的&#xff0c;仅对该题目进行解决。 这个题与我之前发表过的一些关于检验一个数字是…

软件世界中的超级bug有哪些?

软件世界中的超级bug有很多&#xff0c;以下是一些历史上著名的案例&#xff1a; 1. Mars Climate Orbiter 1998&#xff1a;由于代码中的一个简单错误&#xff0c;导致火星气候轨道器发送了错误的导航信号&#xff0c;最终导致任务失败&#xff0c;损失超过1800万美元。 2. M…

鸿蒙开发:ForEach中为什么键值生成函数很重要

前言 在列表组件使用的时候&#xff0c;如List、Grid、WaterFlow等&#xff0c;循环渲染时都会使用到ForEach或者LazyForEach&#xff0c;当然了&#xff0c;也有单独使用的场景&#xff0c;如下&#xff0c;一个很简单的列表组件使用&#xff0c;这种使用方式&#xff0c;在官…

接上一主题,C++14中如何设计类似于std::any,使集合在C++中与Python一样支持任意数据?

这篇文章的重点是C多态的应用&#xff0c;但是如果你是C新手&#xff0c; 你需要了解以下C知识&#xff1a; 类 构造函数 拷贝构造函数 虚拟函数 纯虚拟函数 析构函数 类的继承 运算符重写 模板类 模板参数 数组 数组的传递 指针与动态内存分配 Python&#xff1a; s …

躺平成长-腾讯云数据库(又消失了一次)

开源竞争&#xff1a; 当你无法彻底掌握技术的时候&#xff0c;你就开源这个技术&#xff0c;形成更多的技术依赖&#xff0c;你会说 这不就是在砸罐子吗&#xff1f;一个行业里面总会有人砸罐子的&#xff0c;你不如先砸罐子&#xff0c;还能听个响声。 数据库的里面清洁的数据…

代码随想录算法训练营day 45|动态规划08

买卖股票的最佳时机1 之前贪心算法有提到过&#xff0c;我们算正区间的总和&#xff0c;只要是正区间就加入总和 dp[i][0]表示第i天持有该股票的最大收益&#xff0c;dp[i][1]表示第i天不持有该股票的最大收益 class Solution { public:int maxProfit(vector<int>&…

uniapp接入BMapGL百度地图

下面代码兼容安卓APP和H5 百度地图官网&#xff1a;控制台 | 百度地图开放平台 应用类别选择《浏览器端》 /utils/map.js 需要设置你自己的key export function myBMapGL1() {return new Promise(function(resolve, reject) {if (typeof window.initMyBMapGL1 function) {r…