微软发布Phi-3 Mini,性能媲美GPT-3.5、Llama-3,可在手机端运行

embedded/2024/9/24 12:30:19/
前言

微软发布了最新版的Phi系列小型语言模型(SLM) - Phi-3。这个系列包括3个不同参数规模的版本:Phi-3 Mini (38亿参数)、Phi-3 Small (70亿参数)和Phi-3 Medium (140亿参数)。

Phi系列模型是微软研究团队开发的小规模参数语言模型。从第一代Phi-1到第二代Phi-2,参数规模都控制在30亿以内,但在各种评测中都取得了出色的成绩。第三代Phi-3系列进一步扩大了参数规模,以期在性能上更进一步。

  • Huggingface模型下载:https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

  • AI快站模型免费加速下载:https://aifasthub.com/models/microsoft

技术特点

Phi-3系列模型的创新主要体现在两个方面:

  • 训练数据集的设计 Phi-3模型是基于一个高达3.3万亿tokens的大规模数据集训练的。这个数据集结合了经过严格过滤的网络数据和高质量的合成数据,使得相对较小的模型也能取得出色的性能。

  • 安全性和稳健性的考虑 Phi-3模型经历了周密的安全评估和调整,包括有监督微调、直接偏好优化、自动化测试和红队评估等,确保了模型在安全性和可靠性方面符合微软的要求。

此外,Phi-3在支持更长上下文长度(4K和128K tokens)、针对不同平台的优化部署等方面也有创新。

性能表现

从评测结果来看,Phi-3系列模型的性能都非常出色。以30亿参数规模为例,Phi-3 Mini在MMLU、GSM8K和MT-Bench等基准测试中均优于同等或更大模型,与Mixtral 8x7B和GPT-3.5相媲美。

更大规模的Phi-3 Small和Phi-3 Medium也展现出更强大的能力,在一些测试指标上甚至超过了Mixtral 8x22B-MoE这样的大型模型。这说明Phi系列模型在小尺寸下也能取得出色的性能。

应用场景

Phi-3系列模型的小尺寸和高性能使它们非常适合部署在资源受限的设备和场景中,例如手机、嵌入式设备等。这使得它们能够在没有稳定网络连接的情况下,为用户提供高质量的对话服务和个性化内容。

微软的客户已经开始在农业等领域使用Phi-3模型,为缺乏稳定网络的农民提供便捷、经济的AI解决方案。未来我们也可以期待Phi-3模型被集成到智能手机、家用电器等设备中,为日常生活带来智能化的新体验。

未来展望

随着AI技术的不断进步,小型但功能强大的语言模型如Phi-3必将在各行各业中扮演重要角色。它们可以弥补大模型在部署成本、延迟和离线使用等方面的缺陷,为用户提供更贴近生活的智能化服务。

微软Phi系列模型的发展史也表明,通过优化训练数据和采用负责任的开发方法,即使在相对较小的模型规模下也能取得出色的性能。这为未来小型语言模型的应用开辟了广阔的前景。

总结

微软Phi-3系列小语言模型的推出,标志着小型模型在性能和应用场景上都取得了突破性进展。凭借创新的训练数据设计和周密的安全考量,Phi-3系列在各项评测中均取得了出色的成绩,媲美甚至超越了许多大型模型。

这种"小而强"的特点,使Phi-3系列模型非常适合部署在资源受限的设备和场景中,开启了离线AI应用的新篇章。随着技术的不断进步,我们有理由相信小型语言模型将在未来扮演越来越重要的角色,让智能技术真正融入到人们的日常生活中。

模型下载

Huggingface模型下载

https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

AI快站模型免费加速下载

https://aifasthub.com/models/microsoft


http://www.ppmy.cn/embedded/21036.html

相关文章

Java高阶私房菜:JVM垃圾回收机制及算法原理探究

目录 垃圾回收机制 什么是垃圾回收机制 JVM的自动垃圾回收机制 垃圾回收机制的关键知识点 初步了解判断方法-引用计数法 GCRoot和可达性分析算法 什么是可达性分析算法 什么是GC Root 对象回收的关键知识点 标记对象可回收就一定会被回收吗? 可达性分析算…

Orange3数据可视化(树查看器-决策树)

树视图 分类和回归树的可视化。 输入 树:决策树 输出 选中的数据:从树节点中选中的实例 数据:带有额外一列,显示每个点是否被选中 这是一个多功能的小部件,用于展示分类和回归树的2D可视化。用户可以选择一个节点…

八国语言50种海外电子游戏源码 海外游戏开发BTC虚拟币支付 外国电子游艺 游戏源码交易平台 搭建教程

全新海外版的游戏竞猜玩法带搭建教程 系统支持八国语言,50种游戏,支持 Paypal、人工充值、BTC多种支付 源码下载:https://download.csdn.net/download/m0_66047725/89105597 更多资源下载:关注我。

基于 SpringCloud 的在线交易平台乐优商城的设计与实现(四)

第 4 章 数据库设计 4.1 数据库设计原则 4.2.数据库概念结构设计 4.3 数据库表设计 4.4.本章小结 前面内容请移步 基于 SpringCloud 的在线交易平台乐优商城的设计与实现(三) 相关免费源码资源 乐优商城 第 4 章 数据库设计 4.1 数据库设计原…

墨子时事周报

加密孵化器Alliance获Founders Fund战略投资 Peter Thiel 的风险投资旗舰——Founders Fund 宣布已完成对加密货币领域内的新兴孵化器 Alliance 的一项重要「长期战略投资」。尽管投资的具体数额尚未公开,Alliance 的联合创办人 Imran Khan 透露,此轮投资…

MATLAB使用速成 第二章(MATLAB中的函数)

一、内置函数的使用 1、函数作用在标量上 函数f作用在标量x上,这与数学中的f(x)效果是一样的,而f(x)也是一个标量。 2、函数作用在矩阵上 函数f作用在矩阵A上,那么f将作用在矩阵A的每一个元素上,f(A)是一个与A同形状的矩阵。 二、…

QT——其他方式实现HelloWrold

QT——其他方式实现HelloWrold 使用输入框实现使用代码实现 通过按钮实现信号槽代码方式实现 我们之前对QT实现HelloWorld有了一些基本的了解,用了一些简单的方法实现了HelloWorld,如果对QT还不怎么了解的,可以点击这里: https://…

day04--react中state的简化

一、简化state 回顾我们之前的写法: state是在构造器里面定义的。 1)我们为什么要在构造器里面定义? 答:对于创建一个实例对象时,我们对要传进来的数据进行接收,那么我们必须要写一个构造器来接收传进来的…