LLama3大模型本地部署 仅需6步完成对话模型本地安装部署。附送可视化ui安装、自定义模型目录,修改模型保存地址,第三方微调模型、中文模型下载地址

embedded/2024/9/24 21:28:38/
aidu_pl">

本篇分为三部分
一:6步完成llama3大模型本地部署
二:8步完成llama3可视化对话界面安装
三:重设模型文件路径
四:微调模型、中文模型下载资源分享

一、LLama3 大模型本地部署安装

  1. 首先去mata官网下载ollama客户端
    Ollama
    在这里插入图片描述
    选择合适的操作系统平台后点击dowload按钮等待下载完成即可。
    我使用的是windows系统,所以先点windows再点download按钮下载。

  2. 下载完成后,双击文件进行安装
    在这里插入图片描述
    安装完成后会提示你默认启动命令,不需要管这个关闭即可。

  3. 打开cmd控制台,键入ollama,如果如下图显示命令提示就说明安装已经成功
    在这里插入图片描述

  4. 进入官网找到想要下载的模型名称 https://ollama.com/library/llama3/tags。 如果你使用的是普通电脑,建议选择8b(80亿参数)
    在这里插入图片描述

  5. 控制台中键入ollama run llama3:8b,会自动进行8B模型下载,该模型有80亿参数,普通电脑可以执行。如果想要70B可以修改为入ollama run llama3:70b。按回车键就开始下载并自动安装
    在这里插入图片描述

  6. 当提示success时,说明已经成功安装了大模型

  7. 测试

接下来就到了装逼环节,直接在控制台中进行对话吧。 因为8b是官方英文模型,所以在控制台中还不支持中文,你需要下载中文微调模型才能进行中文对话。
我们问了两个问题,第一个触及非法操作,由于安全限制回答被拒绝
第二个用拼错的单词问他怎么煮饭,8b模型 正常地识别并回答了问题。现在看来效果还可以。
在这里插入图片描述

到此我们就完成了大模型llama的安装。还挺简单是吧?

二、LLAMA3 安装可视化交互界面

控制台调用总不是个办法,还是得穿上裤子弄个拉皮,我们搞个可视化对话界面吧

  1. 首先确保系统中已经安装了nodejs和git,如果没有可以自己去官网下载安装https://nodejs.org/en
  2. 打开cmd控制台,键入node -v,如果显示vxx.xx.x.就说明安装成功了。
  3. 在cmd控制台中键入git clone https://github.com/ollama-webui/ollama-webui-lite.git 添加资源镜像
  4. 在cmd控制台键入mkdir llama在当前路径下创建一个叫llama的文件夹,然后键入cd llama进入该文件夹下
  5. 在cmd控制台键入 git clone https://github.com/ollama-webui/ollama-webui-lite.git 将web ui界面下载回来
  6. 在cmd控制台键入cd ollama-webui-lite 进入web ui项目文件夹
  7. 在cmd控制台键入 npm install,安装环境与依赖
  8. 在cmd控制台键入 npm run dev,启动web ui系统
    在这里插入图片描述
    这时会返回两个地址,local地址是本机可访问的地址,network是局域网内其他电脑可以访问的地址。我们直接复制local地址到浏览器上就能看到llama的可视化界面了
    在这里插入图片描述
    然后点击Select a model 设置模型,我们选中已经下载好的8b模型
    在这里插入图片描述
    现在就可以在下方输入框进行输入对话了
    在这里插入图片描述
    到此完成llama3本地可视化部署

三、设置模型文件位置

默认模型文件会下载到C:\Users\用户名.ollama\models,中国人的习惯就是c盘容量小e盘容量大。所以需要重新设置磁盘位置。

  1. 在e盘下创建目标文件夹
  2. 将C:\Users\用户名.ollama下的models文件夹整个移动到新创建的文件夹下
  3. 打开系统属性页面,点击环境变量按钮,弹出设置窗口
    在这里插入图片描述
    点击“心间按钮”,在“变量名”键入 OLLAMA_MOKDELS, 在"变量值"中填入刚刚移动到新位置的models路径,点击确定即可按成

在这里插入图片描述
4. 重启ollama客户端,然后在命令行中键入 ollama list,如果可以查看模型列表就说明修改成功了
在这里插入图片描述

四、第三方微调模型、中文资源下载

如果需要解除限制,或是其他微调功能,可以在https://huggingface.co下载其他人搞好的模型。
都是免费自由下载,很方便。

下周将完善自由微调llama和对接预研llama的教程


http://www.ppmy.cn/embedded/41824.html

相关文章

操作系统-单片机进程状态问题(三态模型问题)

例题:在单处理机计算机系统中有1台打印机、1台扫描仪,系统采用先来先服务调度算法。假设系统中有进程P1、P2、P3、P4,其中P1为运行状态,P2为就绪状态,P3等待打印机,P4等待扫描仪。此时,若P1释放…

【干货】独立站收款方式汇总

收款是跨境独立站卖家必须考虑的重点,它直接关系到你的生意是否能够顺利进行。在这个多元化的支付环境中,选择合适的收款方式对于提升用户体验、降低交易成本以及提高资金流转效率都至关重要。今天,我们将深入探讨四种流行的收款方式&#xf…

【考研数学】准备开强化,更「张宇」还是「武忠祥」?

数一125学长前来回答,选择哪位老师的课程,这通常取决于你的个人偏好和学习风格! 张宇老师和武忠祥老师都是非常有经验的数学老师,他们的教学方法各有特点。 张宇老师的教学风格通常被认为是通俗易懂,善于将复杂的概念…

【C++风云录】重塑旅游业:C++和可持续旅行的交汇点

跃升旅游行业:C库的革命性作用 前言 在21世纪,技术的发展已经渗透到每个角落,包括旅游行业。特别是在生态旅游和可持续旅行领域,新技术的引入正在改变着行业的未来。本文将重点介绍C如何被应用于这一领域。 欢迎订阅专栏&#x…

RustGUI学习(iced)之小部件(九):如何使用绘图部件canvas在窗口画图?

前言 本专栏是学习Rust的GUI库iced的合集,将介绍iced涉及的各个小部件分别介绍,最后会汇总为一个总的程序。 iced是RustGUI中比较强大的一个,目前处于发展中(即版本可能会改变),本专栏基于版本0.12.1. 概述 这是本专栏的第九篇,主要讲述canvas绘图部件的使用,会结合实…

【python量化交易】—— Alpha选股策略 - Qteasy自定义交易策略【附源码】

使用qteasy创建并回测Alpha选股交易策略 使用qteasy创建并回测Alpha选股交易策略策略思想第一种自定义策略设置方法,使用持仓数据和选股数据直接生成比例交易信号PS信号:第二种自定义策略设置方法,使用PT交易信号设置持仓目标:第三…

Java--初识类和对象

前言 本篇讲解Java类和对象的入门版本。 学习目的: 1.理解什么是类和对象。 2.引入面向对象程序设计的概念 3.学会如何定义类和创建对象。 4.理解this引用。 5.了解构造方法的概念并学会使用 考虑到篇幅过长问题,作者决定分多次发布。 面向对象的引入 J…

SpringBoot+Mock Mvc测试web接口增删改查、导入导出

需求&#xff1a; 使用Mock Mvc单元测试web接口的增删改查、导入、导出功能&#xff0c;涵盖登录 token header赋值等全流程 1&#xff0c;引入核心依赖 <!-- 单元测试 --><dependency><groupId>junit</groupId><artifactId>junit</artifac…