【大语言模型LLM】- Meta开源推出的新一代大语言模型 Llama 3

server/2024/11/13 5:32:51/

在这里插入图片描述

🔥博客主页西瓜WiFi

🎥系列专栏《大语言模型

很多非常有趣的模型,值得收藏,满足大家的收集癖! 如果觉得有用,请三连👍⭐❤️,谢谢!

长期不定时更新,欢迎watch和fork!❤️❤️❤️

❤️感谢大家点赞👍 收藏⭐ 评论⭐


🎥语言模型LLM基础-系列文章

【大语言模型LLM】- AI工具收录集合,一篇就够了!
【大语言模型LLM】-大语言模型如何编写Prompt?
【大语言模型LLM】-如何使用大语言模型提高工作效率?
【大语言模型LLM】-使用大语言模型搭建点餐机器人

持续更新中…

一、热门大模型推荐

  • 国外

    • 🔥ChatGPT,OpenAI开发的一种基于GPT架构的对话生成模型。
    • 🔥Claude,美国人工智能初创公司Anthropic发布的大型语言模型
    • 🔥Grok-1, Grok-1是由马斯克旗下的人工智能初创公司xAI发布的大语言模型
  • 国内

    • 🔥文心一言,百度全新一代知识增强大语言模型
    • 🔥豆包,字节跳动公司基于云雀模型开发的AI工具。
    • 🔥Kimi,月之暗面开发的国产人工智能大模型。
  • AI绘图

    • 🔥Midjourney,人工智能研究实验室Midjourney, Inc.开发的Al图像生成工具。
    • 🔥Stable Diffusion,Stable Diffusion是2022年发布的深度学习文本到图像生成模型。
    • 🔥Microsoft Designer,强烈推荐👍,免费绘图+设计,Microsoft Designer是一款基于生成式AI技术的设计工具,它搭载了由OpenAI开发的AI绘画工具DALL-E 2。
  • AI写作

    • 🔥火山写作,字节跳动旗下的火山引擎团队推出的AI中英文写作助手。
    • 🔥新华秒笔,新华通讯社与博特智能共同研发推出,集成了案例参考、材料查找、AI写作、修改润色色、审核校对、文件学习等功能,全方位地辅助公职人员提高创作效率,节省人工编写的时间和精力。
    • 🔥星火内容运营大师,星火内容运营大师是一款由科大讯飞推出的AI智能写作软件,旨在帮助内容运营者提高工作效率和质量。
    • 🔥Paperpal,Paperpal正是以此为发想而研发的学术专项AI工具,旨在提升研究者的英语写作体验。

二、新一代大语言模型 Llama 3

2.1 Llama 3是什么?

2024年4月18日,Meta在官网上宣布公布了旗下最新大模型Llama 3。Llama 3 包含8B和70B两种参数规模的模型,标志着开源人工智能领域的又一重大进步。作为LIama系列的第三代产品,Llama 3不仅继承了前代模型的强大功能,还通过一系列创新和改进,提供了更高效、更可靠的AI解决力方案,旨在通过先进的自然语言处理技术,支持广泛的应用场景,包括但不限于编程、问题解决、翻译和对话生成。

2.2 Llama 3的系列型号

Llama 3目前提供了两种型号,分别为8B(80亿参数)和70B(700亿参数)的版本,这两种型号旨在满足不同层次的应用需求,为用户提供了灵活性和选择的自由度。

  • Llama-3-8B:8B参数模型,这是一个相对较小但高效的模型,拥有有80亿个参数。专为需要快速推理和较少计算资源的应用景设计,同时保持了较高的性能标准。
  • Llama-3-70B:70B参数模型,这是一个更大规模的模型,拥有700亿个参数。它能够处理更复杂的任务,提供更深入的语言理解和生成能力,适合对性能要求更高的应用。
    后续,Llama 3还会推出400B参数规模的模型,目前还在训练中。Meta还表示等完成Llama 3的训练,还将发布一份详细的研究论文。

2.3 Llama 3的官网入口

  • 官方项目主页:https://llama.meta.com/llama3/
  • GitHub模型权重和代码:https://github.com/meta-llama/llama3/
  • Hugging Face模型:https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6

2.4 Llama 3改进的地方

  • 参数规模:Llama3提供了8B和70B两种参数规模的模型,相比lama2,参数数量的增加使得模型能够捕捉和学习更复杂的语言模式。
  • 训练数据集:Llama3的训练数据集比LIama2大了7倍,包含了超过15)万亿个token,其中包括4倍的代码数据,这使得Llama3在理解和生成代码方面更加出色。
  • 模型架构:Llama3采用了更高效的分词器和分组查询注意力(Grouped Query Attention,GQA)技术,提高了模型的推理效率和处理长文本的能力。
  • 性能提升:通过改进的预训练和后训练过程,Llama3在减少错误拒绝率、提升响应对齐和增加模型响应多样性方面取得了进步。
  • 安全性:引入了Llama Guard2等新的信任和安全工具,以及Code Shield和CyberSec Eval2,增强了模型的安全性和可靠性。
  • 多语言支持:Llama3在预训练数据中加入了超过30种语言的高质量非英语数据,为未来的多语言能力打下了基础。
  • 推理和代码生成:Llama3在推理、代码生成和指令跟随等方面展现了大幅提升的能力,使其在复杂
    任务处理上更加精准和高效。

2.5 Llama 3的技术架构

  • 解码器架构:Llama3采用了解码器(decoder-only)架构,这是一种标准的Transformer模型架构,主要用于处理自然语言生成任务。
  • 分词器和词汇量:Llama3使用了具有128K个token的分词器,这使得摸型能够更高效地编码语言,从而显著提升性能。
  • 分组查询注意力(GroupedQueryAttention,GQA):为了提高推理效率,Llama3在8B和70B模型中都采用了GQA技术。这种技术通过将注意力机制中的查询分组,减少了计算量,同时保持了模型的性能。
  • 长序列处理:Llama3支持长达8,192个token的序列,使用掩码(maasking)技术确保自注意力(self-attention)不会跨越文档边界,这对于处理长文本尤其重要。
  • 预训练数据集:Llama3在超过15TB的token上进行了预训练,这这个数据集不仅规模巨大,而且质量高,为模型提供了丰富的语言信息。
  • 多语言数据:为了支持多语言能力,Llama3的预训练数据集包含了超过5%的非英语高质量数据,涵盖了超过30种语言。
  • 数据过滤和质量控制:Llama3的开发团队开发了一系列数据过虑管道,包括启发式过滤器、NSFW(不适合工作场所)过滤器、语义去重方法和文本分类器,以确保保训练数据的高质量。
  • 扩展性和并行化:Llama3的训练过程中采用了数据并行化、模型并行化和流水线并行化,这些技术的应用使得模型能够高效地在大量GPU上进行训练。
  • 指令微调(Instruction Fine-Tuning):Llama3在预训练模型的基础上,通过指令微调进一步提升了模型在特定任务上的表现,如对话和编程任务。

2.6 如何使用 Llama 3

开发人员
Meta已在GitHub、Hugging Face、Replicate上开源其Llama3模型,开发人员可使用torchtune等工具对Llama3进行定制和微调,以适应特定的用例和需求,感兴趣的开发者可以查看官方的入门指南并前往下载部署。

  • 官方模型下载:https://llama.meta.com/llama-downloads
  • GitHub地址:https://github.com/meta-llama/llama3/
  • Hugging Face地址:https://huggingface.co/meta-llama
  • Replicate地址:https://replicate.com/meta
    普通用户

不懂技术的普通用户想要体验Llama 3可以通过以下方式使用:

  • 访问Meta最新推出的Meta Al聊天助手进行体验(注:Meta.Al会员区,只有部分国家可使用)
  • 访问Replicate提供的Chat with Llama进行体验https://llama3.replicate.dev/
  • 使用Hugging Chat(https://huggingface.co/chat/),可手动将模型切换至Llama 3

http://www.ppmy.cn/server/20497.html

相关文章

政安晨:【Keras机器学习示例演绎】(二十)—— 综合梯度的模型可解释性

目录 综合梯度 设置 综合梯度算法 可视化渐变和集成渐变的辅助类 让我们试一试 政安晨的个人主页:政安晨 欢迎 👍点赞✍评论⭐收藏 收录专栏: TensorFlow与Keras机器学习实战 希望政安晨的博客能够对您有所裨益,如有不足之处&#xff0c…

迁移学习基础知识

简介 使用迁移学习的优势: 1、能够快速的训练出一个理想的结果 2、当数据集较小时也能训练出理想的效果。 注意:在使用别人预训练的参数模型时,要注意别人的预处理方式。 原理: 对于浅层的网络结构,他们学习到的…

【漏洞复现】艺创科技智能营销路由器后台命令执行漏洞

漏洞描述: 成都艺创科技有限公司是一家专注于新型网络设备研发、生产、销售和服务的企业,在大数据和云时代,致力于为企业提供能够提升业绩的新型网络设备。 智能营销路由器存在后台命令执行漏洞,攻击者可利用漏洞获取路由器控制…

MongoDB可视化工具安装

1. 下载安装Compass 下载地址:https://www.mongodb.com/try/download/shell 图示: 2. 使用 下载后直接点击使用即可。

C++11 设计模式5. 原型模式

什么是原型模式? 原型模式⼀种创建型设计模式,该模式的核⼼思想是基于现有的对象创建新的对象,⽽不是从头开始创建。在原型模式中,通常有⼀个原型对象,它被⽤作创建新对象的模板。新对象通过复制原型对象的属性和状态来…

ZISUOJ 数据结构--串及其应用

说明&#xff1a; 都是字符串的基本操作没啥好说的&#xff0c;直接上题目和代码了。 题目列表&#xff1a; 问题 A: 字符串翻转 参考题解&#xff1a; #include <iostream> #include <string> #include <algorithm> using std::cin; using std::cout; usi…

大数据面试题 —— Spark数据倾斜及其解决方案

目录 1 调优概述2 数据倾斜发生时的现象3 数据倾斜发生的原理4 如何定位导致数据倾斜的代码4.1 某个 task 执行特别慢的情况4.2 某个 task 莫名其妙内存溢出的情况5 查看导致数据倾斜的 key 的数据分布情况6 数据倾斜的解决方案6.1 使用 Hive ETL 预处理数据6.2 过滤少数导致倾…

责任链模式的应用

设计模式责任链模式 责任链模式介绍 概述 责任链模式是一种行为型模式。责任链模式里,很多对象由每一个对象对其下家的引用而连接起来形成一条链。请求在这个链上传递,直到链上的某一个对象决定处理此请求。发出这个请求的客户端并不知道链上的哪一个对象最终处理这个请求…