本地环境运行Llama 3大型模型:可行性与实践指南

embedded/2024/11/15 0:09:42/

llama3.png

简介:

Llama 是由 Meta(前身为 Facebook)的人工智能研究团队开发并开源的大型语言模型(LLM),它对商业用途开放,对整个人工智能领域产生了深远的影响。继之前发布的、支持4096个上下文的Llama 2模型之后,Meta 进一步推出了性能更卓越的 Meta Llama 3系列语言模型,包括一个8B(80亿参数)模型和一个70B(700亿参数)模型。Llama 3 70B 的性能媲美 Gemini 1.5 Pro,全面超越 Claude 大杯,而 400B+ 的模型则有望与 Claude 超大杯和新版 GPT-4 Turbo 掰手腕

在各种测试基准中,Llama 3系列模型展现了其卓越的性能,它们在实用性和安全性评估方面与市场上其他流行的闭源模型相媲美,甚至在某些方面有所超越。Meta Llama 3系列的发布,不仅巩固了其在大型语言模型领域的竞争地位,而且为研究人员、开发者和企业提供了强大的工具,以推动语言理解和生成技术的进一步发展。

项目地址:

https://github.com/meta-llama/llama3

llama2和llama3的差异

llama3and3diff.webp

llama3和GPT4的差异

指标Llama 3GPT-4
模型规模70B、400B+100B、175B、500B
参数类型TransformerTransformer
训练目标Masked Language Modeling、PerplexityMasked Language Modeling、Perplexity
训练数据Books、WebTextBooks、WebText
性能SOTA(问答、文本摘要、机器翻译等)SOTA(问答、文本摘要、机器翻译等)
开源

Llama 3 的亮点

  • 面向所有人开放:Meta 通过开源 Llama 3 的轻量版本,让前沿的 AI 技术变得触手可及。无论是开发者、研究人员还是对 AI 技术好奇的小伙伴,都可以自由地探索、创造和实验。 Llama 3 提供了易于使用的 API,方便研究人员和开发者使用。

  • 模型规模大:Llama 3 400B+ 模型的参数规模达到了 4000 亿,属于大型语言模型。

  • 即将融入各种应用: Llama 3 目前已经赋能 Meta AI,Meta AI体验地址:https://www.meta.ai/

llama3-pre-trained.png

llama3-8b-70b.webp

llam3-15T-tokens.png

在 Windows 上使用 Ollama,运行Llama3模型

访问https://ollama.com/download/windows页面,下载OllamaSetup.exe安装程序。

安装后,根据自身电脑配置,选择对应模型参数安装(运行 7B 至少需要 8GB 内存,运行 13B 至少需要 16GB 内存)

我这里运行的是Llama3:8b,可以看出,中文还是有点问题

ollama3.png

ModelParametersSizeDownload
Llama 38B4.7GBollama run llama3
Llama 370B40GBollama run llama3:70b
Mistral7B4.1GBollama run mistral
Dolphin Phi2.7B1.6GBollama run dolphin-phi
Phi-22.7B1.7GBollama run phi
Neural Chat7B4.1GBollama run neural-chat
Starling7B4.1GBollama run starling-lm
Code Llama7B3.8GBollama run codellama
Llama 2 Uncensored7B3.8GBollama run llama2-uncensored
Llama 2 13B13B7.3GBollama run llama2:13b
Llama 2 70B70B39GBollama run llama2:70b
Orca Mini3B1.9GBollama run orca-mini
LLaVA7B4.5GBollama run llava
Gemma2B1.4GBollama run gemma:2b
Gemma7B4.8GBollama run gemma:7b
Solar10.7B6.1GBollama run solar

Hugging Face 使用

访问:https://huggingface.co/chat/ 然后切换Models

Replicate 使用

8B 模型:https://replicate.com/meta/meta-llama-3-8b

70B 模型:https://replicate.com/meta/meta-llama-3-70b

本文由博客一文多发平台 OpenWrite 发布!


http://www.ppmy.cn/embedded/20255.html

相关文章

利用Spring中的SchedulingConfigurer实现数据库配置化定时任务

目录 1.利用Scheduled来实现传统的定时任务 2.两者的区别 3.Spring中的SchedulingConfigurer来拓展定时任务的灵活性 1)UrTaskConfig 2)TaskMain 3)BaseTask 4)效果 (1)插入配置定时任务的sql语句 …

如何安装、利用、激活、禁用pytest插件

关注开源优测不迷路 大数据测试过程、策略及挑战 测试框架原理,构建成功的基石 在自动化测试工作之前,你应该知道的10条建议 在自动化测试中,重要的不是工具 在本文中,我们介绍如何安装和使用pytest第三方插件,对于如何…

【学习】软件测试自动化,是未来的趋势还是当前的必需

在当今快速迭代的软件开发周期中,速度和质量成为了企业生存的关键。随着DevOps实践的普及和持续集成/持续部署(CI/CD)流程的标准化,软件测试自动化已经从未来的趋势转变为当前的必要性。本文将探讨自动化测试的现状、必要性以及其…

【数据库】Redis

文章目录 [toc]Redis终端操作进入Redis终端Redis服务测试切换仓库 String命令存储字符串普通存储设置存储过期时间批量存储 查询字符串查询单条批量查询 Key命令查询key查询所有根据key首字母查询判断key是否存在查询指定的key对应的value的类型 删除键值对 Hash命令存储hash查…

29 OpenCV 图像距

文章目录 距的概念API函数示例 距的概念 距的概念 API函数 moments( InputArray array,//输入数据 bool binaryImagefalse // 是否为二值图像 )contourArea( InputArray contour,//输入轮廓数据 bool oriented// 默认false、返回绝对值)arcLength( InputArray curve…

【Qt常用控件】—— 显示类控件

目录 1.1 Label 1.2 LCD Number 1.3 ProgressBar 1.4 Calendar Widget 1.5 小结 1.1 Label QLabel 控件是 Qt 中用于显示文本或图像的部件,是用户界面开发中常用的组件之一。 核⼼属性如下: 属性 说明 text QLabel 中的⽂本 textFormat ⽂本的格…

Spring Security 解决注入攻击的配置

Spring Security 本身主要是用来处理认证和授权的安全框架,它并不直接处理注入攻击,如SQL注入或者其他类型的注入攻击。注入攻击的预防主要在于如何处理和验证输入数据以及安全地使用API,特别是那些与数据库交互的API。不过,Sprin…

base64算法

1 介绍 将二进制数据编码为文本字符串的算法 理解:把一个能看懂的明文变成一个看不懂的密文数据统称为加密 2 使用 A 在浏览器控制台使用 加密 window.btoa(加密的数据) 解密 window.atob(MTIzNDQ) B 在VSconde中使用 加密 解密