本地搭建llama大模型及对话UI

news/2024/11/10 16:36:04/

环境说明:MBP 2023 M2Pro芯片

用到的工具/组件/技术:ollamallama3:8b、dockeropen-webui

llama_4">1.下载ollama

ollama官网下载地址:https://ollama.com/download

到ollama官网地址下载对应操作系统版本的ollama平台,按照安装指引一步步操作即可

llamallama38b_10">2.通过ollama下载llama3:8b

通过命令 ollama run llama3:8b 下载ollama:8b模型(注意,是ollama量化后的模型,模型大小实际只有4.9G左右)
在这里插入图片描述

docker_15">3.下载安装docker

docker下载地址:https://www.docker.com/products/docker-desktop/

选择对应的版本即可(我的环境为M芯片的MBP)
在这里插入图片描述

按照提示安装即可,注意下最后配置按照如下选择

在这里插入图片描述

完成后,docker图形化工具可以免登录使用,终端也可通过docker --version 命令查看docker版本
在这里插入图片描述

4.下载open-webui

# Win下载open-webui
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama# mac下载open-webui(M芯片)
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main# 注意,下载完之后注意看有没有报错,之前在mac上用了win的下载命令,导致容器运行失败

在这里插入图片描述

open-webui容器拉取过程如上图,可以通过docker ps -a已经可以看到open-webui

通过docker图形化界面也可以看到该容器已运行

在这里插入图片描述

访问http://127.0.0.1:3000即可访问,随意注册即可(如 test@gmail.com/123456)

在这里插入图片描述

在“选择一个模型”处,添加之前通过ollama安装的llama:8b

在这里插入图片描述

即可聊天

在这里插入图片描述


http://www.ppmy.cn/news/1453407.html

相关文章

QPS(Queries Per Second)和TPS(Transactions Per Second)的介绍和区别

QPS(Queries Per Second)和TPS(Transactions Per Second)是衡量计算系统性能的两个指标,它们分别代表了系统每秒可以处理的查询数和事务数。虽然这两个术语在某些情况下可以互换使用,但它们在技术上有所区别…

多模态大模型是新一代人工智能技术范式

大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。…

代码随想录算法训练营第四十二天

我家娃可太好看了,有点担心月嫂走了没法照顾娃。 明天没有新的题,所以我今天开个头吧。又懒了。 01背包问题 二维 思路看了一遍,默写一下哈。甚至看了两遍,但是还没开始搞。。。振作起来!!! 目…

【论文阅读笔记】Order Matters(AAAI 20)

个人博客地址 注:部分内容参考自GPT生成的内容 论文笔记:Order Matters(AAAI 20) 用于二进制代码相似性检测的语义感知神经网络 论文:《Order Matters: Semantic-Aware Neural Networks for Binary Code Similarity Detection》…

深度解析Java 9核心新特性

码到三十五 &#xff1a; 个人主页 < 免责声明 > 避免对文章进行过度解读&#xff0c;因为每个人的知识结构和认知背景都不同&#xff0c;没有一种通用的解决方案。对于文章观点&#xff0c;不必急于评判。融入其中&#xff0c;审视自我&#xff0c;尝试从旁观者角度认清…

Linux的基础IO:文件系统

目录 学前补充 磁盘的存储结构 OS如何对磁盘的存储进行逻辑抽象 细节内容 学前补充 问题&#xff1a;计算机只认二进制&#xff0c;即0、1&#xff0c;什么是0、1&#xff1f; 解释&#xff1a;0、1在物理层面可能有不同的表现&#xff0c;0、1是数字逻辑&#xff0c;可以…

Leetcode—2639. 查询网格图中每一列的宽度【简单】

2024每日刷题&#xff08;121&#xff09; Leetcode—2639. 查询网格图中每一列的宽度 实现代码 class Solution { public:int func(int num) {if(num 0) {return 1;}int len 0;while(num ! 0) {len;num / 10;}return len;}vector<int> findColumnWidth(vector<ve…

Vue3-element-plus表格

一、element-plus 1.用组件属性实现跳转路由 <el-menu active-text-color"#ffd04b" background-color"#232323" :default-active"$route.path" //高亮 text-color"#fff"router><el-menu-item index"/article/channe…