微软发布Phi-3 Mini,性能媲美GPT-3.5、Llama-3,可在手机端运行

devtools/2024/11/9 16:46:07/
前言

微软发布了最新版的Phi系列小型语言模型(SLM) - Phi-3。这个系列包括3个不同参数规模的版本:Phi-3 Mini (38亿参数)、Phi-3 Small (70亿参数)和Phi-3 Medium (140亿参数)。

Phi系列模型是微软研究团队开发的小规模参数语言模型。从第一代Phi-1到第二代Phi-2,参数规模都控制在30亿以内,但在各种评测中都取得了出色的成绩。第三代Phi-3系列进一步扩大了参数规模,以期在性能上更进一步。

  • Huggingface模型下载:https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

  • AI快站模型免费加速下载:https://aifasthub.com/models/microsoft

技术特点

Phi-3系列模型的创新主要体现在两个方面:

  • 训练数据集的设计 Phi-3模型是基于一个高达3.3万亿tokens的大规模数据集训练的。这个数据集结合了经过严格过滤的网络数据和高质量的合成数据,使得相对较小的模型也能取得出色的性能。

  • 安全性和稳健性的考虑 Phi-3模型经历了周密的安全评估和调整,包括有监督微调、直接偏好优化、自动化测试和红队评估等,确保了模型在安全性和可靠性方面符合微软的要求。

此外,Phi-3在支持更长上下文长度(4K和128K tokens)、针对不同平台的优化部署等方面也有创新。

性能表现

从评测结果来看,Phi-3系列模型的性能都非常出色。以30亿参数规模为例,Phi-3 Mini在MMLU、GSM8K和MT-Bench等基准测试中均优于同等或更大模型,与Mixtral 8x7B和GPT-3.5相媲美。

更大规模的Phi-3 Small和Phi-3 Medium也展现出更强大的能力,在一些测试指标上甚至超过了Mixtral 8x22B-MoE这样的大型模型。这说明Phi系列模型在小尺寸下也能取得出色的性能。

应用场景

Phi-3系列模型的小尺寸和高性能使它们非常适合部署在资源受限的设备和场景中,例如手机、嵌入式设备等。这使得它们能够在没有稳定网络连接的情况下,为用户提供高质量的对话服务和个性化内容。

微软的客户已经开始在农业等领域使用Phi-3模型,为缺乏稳定网络的农民提供便捷、经济的AI解决方案。未来我们也可以期待Phi-3模型被集成到智能手机、家用电器等设备中,为日常生活带来智能化的新体验。

未来展望

随着AI技术的不断进步,小型但功能强大的语言模型如Phi-3必将在各行各业中扮演重要角色。它们可以弥补大模型在部署成本、延迟和离线使用等方面的缺陷,为用户提供更贴近生活的智能化服务。

微软Phi系列模型的发展史也表明,通过优化训练数据和采用负责任的开发方法,即使在相对较小的模型规模下也能取得出色的性能。这为未来小型语言模型的应用开辟了广阔的前景。

总结

微软Phi-3系列小语言模型的推出,标志着小型模型在性能和应用场景上都取得了突破性进展。凭借创新的训练数据设计和周密的安全考量,Phi-3系列在各项评测中均取得了出色的成绩,媲美甚至超越了许多大型模型。

这种"小而强"的特点,使Phi-3系列模型非常适合部署在资源受限的设备和场景中,开启了离线AI应用的新篇章。随着技术的不断进步,我们有理由相信小型语言模型将在未来扮演越来越重要的角色,让智能技术真正融入到人们的日常生活中。

模型下载

Huggingface模型下载

https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

AI快站模型免费加速下载

https://aifasthub.com/models/microsoft


http://www.ppmy.cn/devtools/14430.html

相关文章

企业微信hook接口协议,开放平台id转企业用户id

开放平台id转企业用户id 参数名必选类型说明uuid是String每个实例的唯一标识,根据uuid操作具体企业微信 请求示例 {"uuid":"3240fde0-45e2-48c0-90e8-cb098d0ebe43","openid":["woO9o4EAAAUg47yCUh1mDYVh71AJ8R3w"] } …

四川古力未来科技抖音小店:科技新宠,购物新体验

在当下数字化、智能化的时代,电商平台如雨后春笋般涌现,其中不乏一些富有创新精神和实力雄厚的科技企业。四川古力未来科技有限公司就是其中的佼佼者,其抖音小店更是凭借其独特的魅力和优质的服务,赢得了广大消费者的青睐。 一、科…

leetcode刷题笔记——使用双指针处理链表问题

面试的时候经常碰见诸如获取倒数第k个元素,获取中间位置的元素,判断链表是否存在环,判断环的长度等和长度与位置有关的问题。这些问题都可以通过灵活运用双指针来解决 如果存在环,如何判断环的长度呢?方法是&#xff…

「PHP系列」PHP 发送电子邮件详解

文章目录 一、PHP发送电子邮件二、PHP mail() 函数1. 函数原型2. 参数说明3. 返回值4. 常见的 $headers 属性5. 注意事项6. 示例 三、相关链接 一、PHP发送电子邮件 在 PHP 中,你可以使用内置的 mail() 函数来发送电子邮件。然而,mail() 函数在发送邮件…

51.HarmonyOS鸿蒙系统 App(ArkUI)通知

普通文本通知测试 长文本通知测试 多行文本通知测试 图片通知测试 进度条通知测试 通知简介 应用可以通过通知接口发送通知消息,终端用户可以通过通知栏查看通知内容,也可以点击通知来打开应用。 通知常见的使用场景: 显示接收到的短消息、…

acwing算法提高之数据结构--树状数组

目录 1 介绍2 训练3 参考 1 介绍 本专题用来记录树状数组相关题目。 树状数组:用来快速计算动态前缀和的数据结构。 树状数组支持两种操作: 单点修改,比如a[i] x区间查询,比如求a[l~r]的和 2 训练 题目1:241楼兰…

Docker 命令 镜像操作 容器操作 备份与迁移 DockerFile

什么是Docker? Docker是一种开源应用容器引擎,开发者可以打包自己的应 用以及依赖包到可移植的容器中,然后发布到任何linux机器上。 Docker客居在操作系统内核上的用户空间,只能运行与底层宿主 机相同的操作系统之上。主要目标是…

“磁性蝴蝶”:创新结构纳米石墨烯能更精确控制自旋磁行为

内容来源:量子前哨(ID:Qforepost) 文丨浪味仙 深度好文:1300字丨7分钟阅读 摘要:新加坡国立大学的研究团队,开发出一种蝴蝶形磁性纳米石墨烯,包含四个具有铁磁和反铁磁相互作用的不…