LLMs之Llama-3:Llama-3.3的简介、安装和使用方法、案例应用之详细攻略
目录
相关文章
LLMs之LLaMA:LLaMA的简介、安装和使用方法、案例应用之详细攻略
LLMs之LLaMA-2:LLaMA 2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
LLMs之Llama-3:Llama 3的简介、安装和使用方法、案例应用之详细攻略
llama3-from-scratch%EF%BC%9Allama3-from-scratch(%E4%BB%8E%E5%A4%B4%E5%BC%80%E5%A7%8B%E5%88%A9%E7%94%A8pytorch%E6%9D%A5%E5%AE%9E%E7%8E%B0%E5%B9%B6%E8%A7%A3%E8%AF%BBLLaMA-3%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%AF%8F%E5%B1%82%E4%BB%A3%E7%A0%81)%E7%9A%84%E7%AE%80%E4%BB%8B%E3%80%81%E6%A0%B8%E5%BF%83%E6%80%9D%E8%B7%AF%E6%A2%B3%E7%90%86-toc" style="margin-left:120px;">LLMs之llama3-from-scratch:llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码)的简介、核心思路梳理
LLMs之Llama-3.1:Llama 3.1的简介、安装和使用方法、案例应用之详细攻略
MLM之Llama-3:Llama 3.2的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama-3:Llama-3.3的简介、安装和使用方法、案例应用之详细攻略
Llama-3.3的简介
1、Meta Llama 3.3 的模型信息
2、特点
3、基准测试
4、伦理考量和局限性
Llama-3.3的安装和使用方法
1、安装
2、使用方法
llama-toc" style="margin-left:80px;">使用llama
工具使用 (Tool use with transformers)
使用bitsandbytes
3、责任与安全
Llama 3.3的案例应用
相关文章
LLMs之LLaMA:LLaMA的简介、安装和使用方法、案例应用之详细攻略
LLMs之LLaMA:LLaMA的简介、安装和使用方法、案例应用之详细攻略_chinese_calendar每年手动更新-CSDN博客
LLMs之LLaMA-2:LLaMA 2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
LLMs之LLaMA-2:LLaMA-2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略_llama2-CSDN博客
LLMs之Llama-3:Llama 3的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama 3:Llama 3的简介、安装和使用方法、案例应用之详细攻略-CSDN博客
llama3-from-scratch%EF%BC%9Allama3-from-scratch(%E4%BB%8E%E5%A4%B4%E5%BC%80%E5%A7%8B%E5%88%A9%E7%94%A8pytorch%E6%9D%A5%E5%AE%9E%E7%8E%B0%E5%B9%B6%E8%A7%A3%E8%AF%BBLLaMA-3%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%AF%8F%E5%B1%82%E4%BB%A3%E7%A0%81)%E7%9A%84%E7%AE%80%E4%BB%8B%E3%80%81%E6%A0%B8%E5%BF%83%E6%80%9D%E8%B7%AF%E6%A2%B3%E7%90%86">LLMs之llama3-from-scratch:llama3-from-scratch(从头开始利用pytorch来实现并解读LLaMA-3模型的每层代码)的简介、核心思路梳理
https://yunyaniu.blog.csdn.net/article/details/139078566
LLMs之Llama-3.1:Llama 3.1的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama 3.1:Llama 3.1的简介、安装和使用方法、案例应用之详细攻略-CSDN博客
MLM之Llama-3:Llama 3.2的简介、安装和使用方法、案例应用之详细攻略
MLM之Llama-3:Llama 3.2的简介、安装和使用方法、案例应用之详细攻略_llama 3.2安装教程-CSDN博客
LLMs之Llama-3:Llama-3.3的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama-3:Llama-3.3的简介、安装和使用方法、案例应用之详细攻略-CSDN博客
Llama-3.3的简介
2024年12月6日,Meta发布,Llama 3.3是一个70B参数的多语言大型语言模型(LLM),经过预训练和指令微调,支持多种语言的文本输入和输出,在常见行业基准测试中优于许多开源和闭源聊天模型。经过精心设计,在多个基准测试中表现出色,并具有明确的许可协议和反馈机制。
Meta Llama 3.3是一个强大的多语言大型语言模型,在多个基准测试中表现出色。它具有广泛的应用前景,但同时也存在一些伦理和安全方面的挑战。Meta 采取了多项措施来确保模型的安全性和负责任的使用,包括采用三管齐下的安全策略、进行全面的红队测试、提供多种工具和资源,以及积极参与开源社区。开发人员在使用Llama 3.3时,需要遵守许可协议,注意其使用范围和局限性,并进行必要的安全测试和微调,以确保其应用的安全性和可靠性。 模型的开放性、包容性和有用性是其核心价值观,但同时也需要持续关注和改进,以最大限度地减少潜在风险。
总而言之,Llama 3.3 70B 模型是一个高性能、低成本、多语言、注重安全性的生成式 AI 模型,在教育、软件开发和企业应用等多个领域具有广泛的应用前景。
HuggingFace;https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct
官网:https://www.llama.com/docs/overview/
GitHub:llama-models/models/llama3_3/MODEL_CARD.md at main · meta-llama/llama-models · GitHub
1、Meta Llama 3.3 的模型信息
>> 模型架构:基于优化的Transformer架构的自回归语言模型,微调版本使用监督微调(SFT)和基于人类反馈的强化学习(RLHF)来对齐人类对有用性和安全性的偏好。
>> 训练数据:使用了公开可用的在线数据混合集,包含超过15万亿个token。截止日期为2023年12月。支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。模型使用了分组查询注意力(GQA)以提高推理的可扩展性。
>> 模型发布日期:70B指令微调版本:2024年12月6日。这是一个基于离线数据集训练的静态模型,未来版本将随着社区反馈改进模型安全性而发布。
>> 许可证:采用自定义商业许可证——Llama 3.3社区许可协议 (https://github.com/meta-llama/llama-models/blob/main/models/llama3_3/LICENSE)。
2、特点
Llama 3.3适用于多种语言的商业和研究用途。指令微调的纯文本模型适用于类似助手的聊天,而预训练模型可以适应各种自然语言生成任务。Llama 3.3模型还支持利用其模型的输出改进其他模型,包括合成数据生成和蒸馏。Llama 3.3社区许可证允许这些用例。
>> 微调数据:采用多方面的方法收集数据,结合来自供应商的人工生成数据和合成数据,以减轻潜在的安全风险。
>> 强大的性能,成本更低:Llama 3.3 70B 模型的性能与 Meta Llama 405B 模型相似,但成本更低,使高质量的生成式 AI 能够惠及更广泛的受众。
>> 改进的输出:能够生成逐步推理和准确的 JSON 响应,以满足结构化数据需求。
>> 扩展的语言支持:支持八种主要语言,包括英语、法语、印地语和泰语等,具有多语言能力。
>> 增强的编码能力:涵盖更多编程语言,改进错误处理,并提供详细的代码反馈。
>> 任务感知工具使用:更智能的工具调用,尊重预定义参数并避免不必要的调用。
>> 新功能:本版本引入了新功能,包括更长的上下文窗口、多语言输入和输出以及开发人员与第三方工具的集成。
>> 评估:对Llama模型进行了常见用例和特定功能的评估。常见用例评估衡量了大多数常用应用程序(包括聊天机器人、编码助手、工具调用)系统的安全风险。
>> 红队测试:进行了反复的红队测试,目的是通过对抗性提示发现风险,并利用这些经验来改进基准测试和安全微调数据集。
>> 注重责任:Meta 的安全协议确保模型不仅强大,而且符合道德 AI 标准。内置安全防护措施,例如 Llama Guard 3 和 Prompt Guard,可防止滥用。
>> 开源合作:Meta积极参与开放联盟,包括AI联盟、人工智能合作组织和MLCommons,积极为安全标准化和透明度做出贡献。
>> 社区资源:提供了一套资源,包括输出报告机制和漏洞赏金计划,以在社区的帮助下不断改进Llama技术。
>> 其他语言支持:Llama 3.3已在比8种支持语言更广泛的语言集合上进行了预训练。开发者可以对Llama 3.3模型进行微调以支持这8种语言之外的语言,前提是他们遵守Llama 3.3社区许可证和《可接受使用政策》,在这种情况下,开发者有责任确保在其他语言中使用Llama 3.3的方式安全可靠。
3、基准测试
指令微调模型:列出了Llama 3.3与之前模型在多个基准测试上的结果比较,包括MMLU、Steerability、Reasoning、Code、Math和Multilingual等方面。
4、伦理考量和局限性
>> 核心价值观:Llama 3.3的核心价值观是开放性、包容性和有用性。
>> 潜在风险:Llama 3.3是一项新技术,与任何新技术一样,其使用也存在风险。迄今为止进行的测试并未涵盖所有场景,模型在某些情况下可能会产生不准确、有偏差或其他令人反感的回应。
>> 开发人员责任:在部署任何Llama 3.3模型应用程序之前,开发人员应进行针对其特定模型应用程序的安全测试和微调。
Llama-3.3的安装和使用方法
1、安装
>> 使用Transformers:提供了使用Transformers库 (版本>=4.45.0) 进行对话式推理的代码示例,包括使用pipeline和Auto类以及generate()函数。
>> 训练因素:使用自定义训练库、Meta的定制GPU集群和生产基础设施进行预训练。微调、标注和评估也在生产基础设施上进行。
>> 训练能耗:在H100-80GB(TDP为700W)类型的硬件上使用了累计3930万GPU小时的计算量。表格中列出了训练时间、训练功耗、基于位置的温室气体排放量和基于市场的温室气体排放量。
>> 训练数据:预训练数据来自公开来源,约15万亿个token。微调数据包括公开可用的指令数据集以及超过2500万个合成生成的示例。预训练数据的截止日期为2023年12月。
2、使用方法
提供了使用Llama 3.3模型的不同方法,包括使用流行的深度学习库Transformers和bitsandbytes进行高效的推理和内存优化,以及使用原始llama代码库的方法。
llama" style="text-align:left;">使用llama
建议遵循代码库中的说明。提供了使用huggingface-cli下载原始检查点的命令示例。
import transformers
import torchmodel_id = "meta-llama/Llama-3.3-70B-Instruct"pipeline = transformers.pipeline("text-generation",model=model_id,model_kwargs={"torch_dtype": torch.bfloat16},device_map="auto",
)messages = [{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},{"role": "user", "content": "Who are you?"},
]outputs = pipeline(messages,max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])
工具使用 (Tool use with transformers)
支持多种工具使用格式,并提供了使用Transformers的聊天模板进行工具调用的示例,包括定义工具、创建聊天和应用聊天模板,以及处理模型生成的工具调用和结果。
# First, define a tool
def get_current_temperature(location: str) -> float:"""Get the current temperature at a location.Args:location: The location to get the temperature for, in the format "City, Country"Returns:The current temperature at the specified location in the specified units, as a float."""return 22. # A real function should probably actually get the temperature!# Next, create a chat and apply the chat template
messages = [{"role": "system", "content": "You are a bot that responds to weather queries."},{"role": "user", "content": "Hey, what's the temperature in Paris right now?"}
]inputs = tokenizer.apply_chat_template(messages, tools=[get_current_temperature], add_generation_prompt=True)
你可以像平常一样从这个输入生成文本。如果模型生成了一个工具调用,你应该像这样将其添加到聊天中:
tool_call = {"name": "get_current_temperature", "arguments": {"location": "Paris, France"}}
messages.append({"role": "assistant", "tool_calls": [{"type": "function", "function": tool_call}]})
然后调用该工具,并将结果附加到其中,就像这样:
messages.append({"role": "tool", "name": "get_current_temperature", "content": "22.0"})
在此之后,您可以再次生成(),让模型在聊天中使用工具的结果。请注意,这只是对工具调用非常简要的介绍——如需了解更多信息,请参阅LLaMA提示格式文档和Transformers工具使用文档。
使用bitsandbytes
可以使用bitsandbytes和Transformers库对模型进行8位和4位量化,以优化内存使用。提供了相应的代码示例。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizermodel_id = "meta-llama/Llama-3.3-70B-Instruct"
quantization_config = BitsAndBytesConfig(load_in_8bit=True)quantized_model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype=torch.bfloat16, quantization_config=quantization_config)tokenizer = AutoTokenizer.from_pretrained(model_id)
input_text = "What are we having for dinner?"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")output = quantized_model.generate(**input_ids, max_new_tokens=10)print(tokenizer.decode(output[0], skip_special_tokens=True))
3、责任与安全
>> 负责任的发布方法:采用了三管齐下的策略来管理信任和安全风险:使开发人员能够为其目标受众和Llama支持的用例部署有用、安全和灵活的体验;保护开发人员免受试图利用Llama功能造成潜在危害的恶意用户的攻击;为社区提供保护,以帮助防止滥用我们的模型。
>> 负责任的部署:Llama是一个基础技术,设计用于各种用例。Meta的Llama模型的负责任部署示例可以在其社区故事网页上找到。
>> Llama 3.3指令微调:安全微调的主要目标是为研究界提供一个宝贵的资源,用于研究安全微调的稳健性,并为开发人员提供一个随时可用、安全且强大的模型,用于各种应用程序,以减少开发人员部署安全AI系统的工作量。
Llama 3.3的案例应用
持续更新中……
>> 教育领域:为学生和教育工作者提供多语言 AI 助手。
>> 软件开发领域:通过准确的代码辅助来提高生产力。
>> 企业应用:简化客户支持、数据分析和内容生成。