Windows(Win10、Win11)本地部署开源大模型保姆级教程

news/2024/9/24 4:19:29/

目录

  • 前言
  • 1.安装ollama
  • 2.安装大模型
  • 3.安装HyperV
  • 4.安装Docker
  • 5.安装聊天界面
  • 6.总结

点我去AIGIS公众号查看本文

本期教程用到的所有安装包已上传到百度网盘

链接:https://pan.baidu.com/s/1j281UcOF6gnOaumQP5XprA
提取码:wzw7

前言

  最近开源大模型可谓闹的沸沸扬扬,尤其是Microsoft开源的wizardlm2 8*22bMeta开源的llama3 70b,评测都已经接近了OpenAI GPT4的水平。鉴于还有很多同学不会在Windows(Win10、Win11)部署和使用本地模型,因此我们出一期保姆级教程。

1.安装ollama

  ollama是一个离线运行大模型的工具,注意你可不要把它和Meta大模型llama混淆,二者不是同一个东西。ollama工具的下载地址为https://ollama.com/download,选择Windows版本进行下载安装即可。
在这里插入图片描述
在这里插入图片描述

2.安装大模型

  ollama默认安装路径为C:\Users\用户名\AppData\Local\Programs\Ollama,我们先进入到这个路径
在这里插入图片描述

  然后在地址栏输入cmd后回车
在这里插入图片描述
  此时会打开一个命令终端黑框
在这里插入图片描述
  现在输入ollama run llama3
在这里插入图片描述
  等待下载完成即可。恭喜你!现在你可以开始问问题了!
  现在我们还有一个问题,这个界面不好看,我们要它的界面和OpenAI一样的风格,可以,必须满足你。

首次安装会自动打开该cmd界面

3.安装HyperV

  先根据以下操作路径看看自己电脑有没有HyperV安装选项:控制面板-程序-启用或关闭Windows功能-HyperV.
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
  如果没有HyperV安装选项,则新建一个.txt文件,将以下内容拷贝进去,然后把文件后缀名改为.bat,右键以管理员权限运行即可。运行完毕后再次按照上面路径操作安装HyperV

pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

在这里插入图片描述

4.安装Docker

  直接在Docker官网https://www.docker.com/products/docker-desktop/下载最新版本的Docker Desktop,我下载的是Docker Desktop4.28.0,其中包含的Docker的版本是25.0.3,Docker-Compose的版本是2.24.6。注意不要混淆DockerDocker Desktop。如果是低版本的Docker Desktop,那就需要自己手动安装Docker-Compose了。
在这里插入图片描述
在这里插入图片描述
  配置一下Docker访问中国镜像源
在这里插入图片描述

{"builder": {"gc": {"defaultKeepStorage": "20GB","enabled": true}},"experimental": false,"registry-mirrors": ["http://f1361db2.m.daocloud.io","https://registry.docker-cn.com"]
}

  配置完毕之后在cmd输入docker version确认一下是否安装成功了。
在这里插入图片描述

5.安装聊天界面

  有了之前的操作之后,接下来我们的操作就简单多了,直接在cmd中运行以下命令,安装聊天界面

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在这里插入图片描述
  回到Docker界面看看是否已经在运行WebUI了,图标亮起就表示已经在运行了,点击后面的端口号就可以在浏览器中查看了。
在这里插入图片描述
  先注册,后登陆,然后选择模型,就可以开始聊天了。
在这里插入图片描述

后面得看看有没有办法在离线环境下打开这个聊天界面,目前离线环境下打开界面还是不太方便。

6.总结

  本文讲述了如何在Windows(Win10 Win11)上本地部署大模型。从最基础的软件安装到环境配置都进行了截图展示,希望对非计算机的同学也有所帮助。AI时代我们每个人都必须要掌握一些AI知识,相信不断学习的你一定不会被AI淘汰。这只是开始,后面我们还有很多工作要做,尤其是提示词智能体方面的知识,我们仍需要不断的学习,后续我也会持续更新,希望我们都能跟上时代的潮流。
更多精彩内容见公众号AIGIS


http://www.ppmy.cn/news/1503972.html

相关文章

机器学习 | 回归算法原理——随机梯度下降法

Hi,大家好,我是半亩花海。接着上次的多重回归继续更新《白话机器学习的数学》这本书的学习笔记,在此分享随机梯度下降法这一回归算法原理。本章的回归算法原理还是基于《基于广告费预测点击量》项目,欢迎大家交流学习!…

C++内存管理(区别C语言)深度对比

欢迎来到我的Blog,点击关注哦💕 前言 前面已经介绍了类和对象,对C面向对象编程已经有了全面认识,接下来要学习对语言学习比较重要的是对内存的管理。 一、内存的分区 代码区:存放程序的机器指令,通常是可…

[Python] ai音色翻译器

之前看到了ai voice有些许兴趣便玩了玩,用花儿不哭大佬制作的rvc推理包做了几个模型,可能因为训练量和杂音的原因导致最后使用的效果不佳,后关注到花儿不哭大佬新的GPT-SoVITS项目。这个由于是文字转语音,训练出来的效果好上很多&…

python爬虫【3】—— 爬虫反反爬

一、常见的反爬手段和解决方法 二、splash 介绍与安装 三、验证码识别 图片验证码的处理方案 手动输入(input) 这种方法仅限于登录一次就可持续使用的情况图像识别引擎解析 使用光学识别引擎处理图片中的数据,目前常用于图片数据提取,较少用于验证码…

CAPL使用结构体的方式组装一条DoIP车辆声明消息(方法1)

如果你参加过我的《CAPL编程系统性课程》,你就结构体类型天然就能表示报文结构,用结构体表示报文虽然麻烦,但灵活度更高。 我们今天试着用结构体类型表示DoIP车辆声明消息的DoIP报头,然后组装一条DoIP消息发送出去。 DoIP消息结构如下: DoIP车辆声明消息结构如下: /**…

生成式人工智能(AIGC):开发者的得力助手还是职业威胁?

🎬 鸽芷咕:个人主页 🔥 个人专栏: 《C干货基地》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! 引言 在当今软件开发领域,生成式人工智能(AIGC)技术正在以前所未有的方式改变着开发者的工作…

手撕数据结构---栈和队列的概念以及实现

栈的概念: 栈:⼀种特殊的线性表,其只允许在固定的⼀端进⾏插⼊和删除元素操作。进⾏数据插⼊和删除操作的⼀端称为栈顶,另⼀端称为栈底。栈中的数据元素遵守后进先出LIFO(Last In First Out)的原则。 压栈…

Spring Boot中的 6 种API请求参数读取方式

​ 博客主页: 南来_北往 🔥系列专栏:Spring Boot实战 前言 在利用Spring Boot框架开发应用程序接口时,从客户端请求中提取参数是一项基础而关键的任务。Spring Boot为了迎合各式各样的接口设计需求,提供了多样化的机制以供开…