本地部署AI大模型

news/2025/1/15 12:28:30/

mac windows 同理

用到的软件 docker  ollama 大家可以到官网下载

在ollama官网选择models,这里面有用到的大模型

我用到的是 qwen2 ,这个对中文比较友好

注意,每个模型有不同的参数版本,参数量越大,对电脑配置越高,越聪明,一搬选择7b就可以了

复制一下给到的命令   ollama run qwen2:7b

打开终端,用管理员身份运行刚复制的命令

sudo ollama run qwen2:7b

 这时会进入下载,耐心等待下载完毕

这时候就可以聊天了

2、如果想用聊天框的形式 可以利用docker实现

首先电脑安装docker

接着安装 open-webui

找到How to Install下的第一个命令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 打开命令行 把刚才复制的内容粘贴进去 等待安装

成功后如图

这时候docker里面就有刚下载的 open-webui了

打开

 打开后选择对应的模型

这时候就可以聊天了 


http://www.ppmy.cn/news/1522709.html

相关文章

flutter文本输入框使用

在Flutter中,实现输入框一般使用TextField,通过设置它的属性给输入框和内部文字设置不同的样式。 Flutter 输入框实现简单例子 import package:flutter/material.dart;class MyEditPage extends StatelessWidget {const MyEditPage({super.key});overr…

与MySQL邂逅

MySQL安装捏~ 其实每次新学一样东西,安装永远是一个小坎 但是小问题啦 安装MySQL要用root账户,安装后普通用户也可以用捏 要安装MySQL先来看第一步! 改bug! Centos 卸载不要的环境 先康康有木有捏: mariadb就是…

不小心删除了 Android 手机上的短信?3 步流程恢复误删除的短信以及图片、视频、联系人

不小心删除了 Android 手机上的短信?别担心,Android 版奇客数据恢复工具可以帮助您通过简单的 3 步流程恢复已删除的短信以及图片、视频、联系人等。 如何在 Android 上恢复已删除的短信 不小心删除了 Android 手机上的短信?Android 版奇客数…

Django缓存

【图书介绍】《Django 5企业级Web应用开发实战(视频教学版)》_django 5企业级web应用开发实战(视频教学版)-CSDN博客 《Django 5企业级Web应用开发实战(视频教学版)》(王金柱)【摘要 书评 试读】- 京东图书 (jd.com) Django 5框…

Web3社交新经济,与 SOEX 实现无缝交易的高级安全性

出于充分的理由,安全性是交易中至关重要的考虑因素。每个人都应该确保自己的资金在交易时是安全的。由于 SOEX 充当您与交易所的最佳连接,因此必须强调的是,该系统不会引发任何安全问题。 &a…

C语言程序设计(算法的概念及其表示)

一、算法的概念 一个程序应包括两个方面的内容: 对数据的描述:数据结构 对操作的描述:算法 著名计算机科学家沃思提出一个公式: 数据结构 +算法 =程序 完整的程序设计应该是: 数据结构+算法+程序设计方法+语言工具 广义地说,为解决一个问题而采取的方法和步骤…

帮招一名海康VM机器视觉工程师,工作地:苏州园区,行业:智能仓储自动化巨头,VM可以二次独立开发,岁数35岁以下,薪资18K+

工作职责: 能完成视觉系统的评估,合理的选择硬件配置,快速的完成软件功能开发和调试,并跟踪设备运转状况,保证设备稳定运行 能够清晰的理解客户某个站点的工艺需求,准确定位项目需求;能够根据需…

网络学习-eNSP配置VRRP

虚拟路由冗余协议(Virtual Router Redundancy Protocol,简称VRRP) VRRP广泛应用在边缘网络中,是一种路由冗余协议,它的设计目标是支持特定情况下IP数据流量失败转移不会引起混乱,允许主机使用单路由器,以及即使在实际…