在线教程|零门槛部署 Llama 3,70B 版本只占 1.07G 存储空间,新用户免费体验 8B 版本

embedded/2024/9/23 14:28:14/

4 月 18 日,Meta 宣布开源 Llama 3,这个号称「迄今为止最好的开源大模型」一经发布,立刻引爆科技圈!

图片

发布当天恰逢斯坦福大学教授、AI 顶尖专家吴恩达的生日,作为 AI 开源倡导者,他激动地发文表示:这是我收到过最好的生日礼物,谢谢 Meta。
图片

Meta 首席科学家、图灵奖获得者 Yann LeCun也在自己的账号上硬核推荐了自己的最新开源模型——支持 8k 长文本,在 24k GPU 集群上使用超过 15T tokens 进行训练,在多项评测基准中表现优异, 部分任务中,Llama 3-8B 的表现优于 Llama 2-70B。更多版本将在数月后发布。
据其官网显示,Llama 3 采用了包括监督微调 (SFT)、近端策略优化 (PPO) 和直接策略优化 (DPO) 在内的先进指令调优技术,与 Llama 2 相比有质的飞跃。在安全性上,采用 Llama Guard 2、Code Shield、CyberSec Eval 2 的新版信任和安全工具,比 Llama 2 有更好的「错误拒绝表现」。
值得一提的是,Llama 3 发布时,Meta 还在官方博客上表示,其正在训练一款超过 400B 参数的新版本模型。英伟达高级科学家 Jim Fan 认为,未来可能推出的 Llama 3-400B 标志着开源社区或能用上 GPT-4 级别模型,这会改变许多研究工作和基层初创公司的计算方式。
图片

为了评估 Llama 3 在真实世界场景中的性能, Meta 特意开发了一个全新的高质量人类评估数据集,覆盖的实际用例包括但不限于:征求建议、集体讨论、分类、封闭式问答、编程、创意写作、信息抽取、角色扮演、开放式问答、逻辑推理、文本重写以及总结等。
结果表明,在与 Claude Sonnet、Mistral Medium 和 GPT-3.5 的比较中,Meta Llama 70B 占据优势地位。
图片

性能超越  GPT-3.5、直逼 GPT-4,相信大家现在都迫不及待地想要上手体验 Llama 3 了。为了帮助大家减少漫长的下载等待时间,节省计算资源,降低模型部署难度,HyperAI超神经在教程页面上线了「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」和「使用 Ollama 和 Open WebUI 部署 Llama3-70B」教程

Ollama 和 Open WebUI 分别提供了强大的后端模型管理和前端界面交互功能,结合使用这两个工具,可以轻松完成大模型的部署和管理。
Llama3-70B 只占用 1.07GB 的存储空间, 一键克隆即可启动!
HyperAI超神经教程地址:

8B:https://hyper.ai/tutorials/31129

70B:https://hyper.ai/tutorials/31155

小编已经根据教程部署了 Llama 3 模型,帮大家浅试了一下实际效果。
小编故意引导了一下 Llama 3,结果它没被骗到。但是同样的问题却骗过了 GPT-3.5!看它一本正经地回答问题,小编忍不住快要相信了。
图片

图片

  • 五一快要来了,假期去哪里玩,这么多地方选哪个呢?

图片

  • 数学问题它也能解决哦,再也不用头疼给家里的小朋友辅导功课了!
    图片

  • 还可以翻译,解决我大麻烦了!
    图片

  • 睡前小故事,又一个技巧 get 到了。
    图片

Demo 运行

  1. 登录 hyper.ai,在「教程」页面,选择「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」或「用 Ollama 和 Open WebUI 部署 Llama3 70B」。
    接下来小编将以「使用 Ollama 和 Open WebUI 部署 Llama3-70B」教程为例介绍。
    图片

  2. 点击「在线运行此教程」,页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。
    图片

图片

  1. 点击右下角「下一步:选择算力」。
    图片

  2. 跳转后,选择「NVIDIA RTX A6000 48GB 」、选择镜像「PyTorch」,点击「下一步:审核」。新用户使用下方邀请链接注册,还可获得 4 小时 RTX 4090 + 5 小时CPU的免费算力时长!

HyperAI超神经专属邀请链接(直接复制到浏览器打开即可注册):https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

注意:如果运行的是「使用 Ollama 和 Open WebUI 部署 Llama3-8B-Instruct」教程,选择「NVIDIA GeForce RTX 4090」运行即可。

图片

  1. 点击「继续执行」,等待分配资源,当状态变为「运行中」后,点击「打开工作空间」。
    图片

图片

  1. 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入以下内容,启动 Ollama
OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve

图片

图片

  1. 再新建一个终端页面,然后在命令行里输入以下内容,启动 Open WebUI。
bash /openbayes/input/input1/open-webui/backend/start.sh

图片

  1. 稍等片刻,当命令行出现「INFO:Uvicorn running on http://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可打开 Open WebUI 页面。请注意,用户需在实名认证后才能使用 API 地址访问功能。
    图片

效果展示

  1. 打开 Open WebUI 界面后,登录账号。账号:admin@example.com密码:adminadmin
    图片

2.选择 Llama 3-70B 模型。
图片

3.输入问题,即可使用啦。图片

目前,HyperAI超神经官网已上线了数百个精选的机器学习相关教程,并整理成 Jupyter Notebook 的形式。
点击链接即可搜索相关教程数据集https://hyper.ai/tutorials

以上就是小编本次分享的全部内容了,希望这次的内容对您有所帮助。如果大家还想学习其他好玩的教程,欢迎留言或私信告诉我们项目地址,小编将会为你量身打造课程,教你如何玩转 AI。
参考资料:

1.https://mp.weixin.qq.com/s/bw1-e9Nou7CeR-9iaGNLNA 2.https://mp.weixin.qq.com/s/GoxWufZhemddpvCkOwYAKg 3.https://mp.weixin.qq.com/s/tkMb2RRblCvOpxP7yBTl-w


http://www.ppmy.cn/embedded/30848.html

相关文章

基于51单片机的LCD1602显示的proteus仿真(附源码)

文章目录 一、LCD1602模块简介1.1 特点1.2 结构及其引脚示意图1.3 基本操作时序1.4 指令集1.5 连接方式1.直接控制方式2.间接控制方式 二、LCD1602显示仿真图仿真程序main.clcd.clcd.h 三、总结 一、LCD1602模块简介 1.1 特点 LCD1602是一种工业字符型液晶,能够同…

论文研读|针对文生图模型的AIGC检测

前言:人工智能生成内容的鉴别(AIGC检测)算是当前的研究热点之一,本篇文章介绍几篇针对文生图模型的 AIGC 检测相关工作。 相关文章:AIGC溯源相关研究详见此篇文章 目录 1. Towards Universal Fake Image Detectors tha…

【百度Apollo】探索自动驾驶:小白教学如何使用 Dreamview 播放数据包

🎬 鸽芷咕:个人主页 🔥 个人专栏: 《linux深造日志》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! 文章目录 引入一、Dreamview 简介二、使用 Dreamview 具体步骤步骤一:进入 Apollo Docker 环境步骤二&#xff…

ArrayList常考面试题

在Java面试中,关于ArrayList的面试题可能涵盖多个方面,包括其数据结构、扩容机制、性能特点等。以下是一些常见的ArrayList面试题: ArrayList的数据结构是什么? ArrayList的底层数据结构是动态数组。它是一个可以动态调整大小的数…

32.Docker认识

Docker介绍 Docker是一个快速交付应用,运行应用的技术。 1.可以将程序、依赖、运行环境一起打包为一个镜像,可以迁移到任意Linux操作系统。 2.运行时利用沙箱机制行程隔离容器,各个应用互不干扰。 3.启动、移除都可以通过一行命令完成&am…

基于SkyEye运行Android——应用最为广泛的移动设备操作系统

01.Android简介 Android(安卓)是一种基于Linux内核(不包含GNU组件)的开源操作系统,最初由安迪鲁宾开发,主要支持手机。2005年8月由Google收购注资;2007年11月,Google与84家硬件制造…

PostgreSQL的扩展pgpool

PostgreSQL的扩展pgpool pgpool-II(通常简称为 pgpool)是一个流行的 PostgreSQL 中间件,广泛用于连接池、负载均衡、自动故障转移等场景。作为一种高级数据库解决方案,pgpool 能够在多个 PostgreSQL 服务器之间分配数据库查询&am…

线性表—单链表实现

文章目录 链表介绍 单链表介绍 创建单链表节点 销毁 打印 查找 创建节点 增加数据 尾插 头插 指定位置插入 删除数据 尾删 头删 指定位置删除 整体代码 SListNode.h SListNode.c 链表介绍 链表是一种物理存储单元上非连续、非顺序的存储结构,由一…