能力追上博士生,OpenAI发布最强o1系列模型

news/2024/9/17 12:35:19/ 标签: chatgpt

9月13日凌晨1点,OpenAI发布o1系列模型,包括o1-preview(下称o1预览版)和o1-mini。针对这一消息,该公司创始人Sam Altman在X上表示:“no more patience, jimmy.(需要耐心等待的时刻结束了)”

OpenAI表示:“该模型代表了人工智能能力的新水平。鉴于此,我们将计数器重置为1,并将该系列命名为o1。”这也意味着,o1就是此前坊间盛传即将发布的“草莓”模型。

作为早期模型,o1模型还不具备ChatGPT的许多实用功能,例如浏览网页信息以及上传文件和图片。但OpenAI强调,“对于复杂的推理任务来说,这是一个重大进步。”

目前,ChatGPT Plus和Team用户已经能够在ChatGPT中访问o1模型,但每周发送消息次数限制为o1预览版30条消息和o1-mini50条消息。ChatGPT Enterprise和Edu用户将从下周开始使用这两种模式。

此外,符合API使用等级5的开发人员已经可以开始使用API中的两种模型进行原型设计,速率限制为20RPM,这些模型的API目前不包括函数调用、流式传输、对系统消息的支持和其他功能。

ChatGPT会员被分为Plus、Team、Pro三档,每月订阅价格分别为20美元、60美元(最低)、200美元。值得一提的是,就在o1模型发布前一天,OpenAI刚刚上线ChatGPT Pro会员版,售价高达200美元/月。

该公司表示,o1模型在物理、化学和生物学的具有挑战性的基准任务上的表现达到博士生水平。同时,在数学和编码方面表现出色。在国际数学奥林匹克(IMO)资格考试中,GPT-4o仅正确解决了13%的问题,而o1推理模型得分为83%;o1编码能力在Codeforces比赛中达到89%。

相较于早期模型,o1模型展示了强大的能力,美国数学邀请赛2024(AIME)中, GPT4o、o1 预览版、o1正式版的准确率分别为13.4%、56.7%、83.3%。

在Codeforces代码比赛中,GPT4o、o1 预览版、o1正式版的Codeforces准确率分别为11.0%、62%、89%。

在回答博士级科学问题 (GPQA Diamond)对比上,GPT4o、人类专家、o1的准确率是56.1%、69.7、78%。

图源:OpenAI

图源:OpenAI

Sam Altman在X上表示,o1模型的的微调版本在国际信息学奥林匹克竞赛(IOI)中得分为49分,并且每个问题有10000次提交,获得金牌。

OpenAI指出,o1模型的增强推理能力在解决科学、编码、数学和类似领域的复杂问题特别有用。例如医疗研究人员可以使用o1来注释细胞测序数据,物理学家可以使用o1来生成量子光学所需的复杂数学公式,开发人员可以使用o1来构建和执行多步骤工作流程。

o1系列模型擅长准确生成和调试复杂代码。不过,OpenAI也指出,大型语言模型(例如o1)是在大量文本数据集上进行预训练的。虽然这些高容量模型具有广泛的世界知识,但对于实际应用而言,它的成本高昂且速度缓慢。

为此,OpenAI还发布了更具性价比的推理模型——o1-mini,作为一款较小的模型,o1-mini比o1预览版便宜80%。

具体到价格方面,o1预览版API每百万输入15美元,每百万输出60美元;o1-mini则是每百万输入3美元,每百万输出12美元。

作为对比,gpt-4o每百万万输入2.5美元,每百万输出10美元;gpt-4o-mini每百万万输入0.15美元,每百万输出0.6美元。

在需要推理而无需广泛世界知识的领域,o1-mini将是一种更快、经济高效的模型。OpenAI建议,ChatGPTPlus、Team、Enterprise和Edu用户可以使用o1-mini作为o1预览版的替代方案,具有更高的速率限制和更低的延迟。

o1-mini在STEM能力(自然科学、技术、工程和数学)方面,尤其在数学和编码——在AIME和Codeforces等评估基准上的表现几乎与o1相当。在一些需要推理的学术基准上,例如GPQA(科学)和MATH-500,o1-mini的表现优于GPT-4o。由于缺乏广泛的世界知识,o1-mini在MMLU等任务上的表现不如GPT-4o,在GPQA上落后于o1预览版。

在需要智能和推理的基准测试中,o1-mini的表现优于o1预览版和o1,但其在需要非STEM事实知识的任务上表现较差。

数学能力方面,在高中AIME数学竞赛中,o1-mini(70.0%)与o1(74.4%)相当,同时价格便宜得多,且成绩优于o1预览版(44.6%),o1-mini的得分(约11/15个问题)大约位列美国高中生前500名。

o1在高中AIME数学竞赛表现。图源:OpenAI

o1在高中AIME数学竞赛表现。图源:OpenAI

编码方面,在Codeforces竞赛网站上,o1-mini的Elo得分为1650,与o1的1673分不相上下,且高于o1预览版的1258。这一得分使该模型在Codeforces平台上竞争的程序员中处于前86%。

人类偏好评估方面,在推理能力较强的领域,o1-mini比GPT-4o更受欢迎,但在以语言为中心的领域,o1-mini并不比GPT-4o更受欢迎。

由于o1-mini专注于STEM推理能力,其关于日期、传记和琐事等非STEM主题的事实知识可与GPT-4omini等小型LLM相媲美。该公司将在未来版本中改进限制,并尝试将模型扩展到STEM之外的其他模态和专业。

OpenAI计划向所有ChatGPTFree用户提供o1-mini访问权限。除了新的OpenAIo1系列之外,该公司还计划继续开发和发布GPT系列中的模型。

该公司还特别强调了AI安全问题,为了适应这些模型的新功能,OpenAI加强了安全工作、内部管理和联邦政府合作。OpenAI最近与美国和英国的人工智能安全研究所正式达成协议。

在开发这些新模型的过程中,OpenAI提出了一种新的安全训练方法,利用它们的推理能力,使它们遵守安全和协调准则。衡量安全性的一种方法是测试当用户试图绕过安全规则(下称“越狱”)时,在最严格的越狱测试中,GPT-4o得分为22(0-100分制),而o1预览模型得分为84。


http://www.ppmy.cn/news/1524954.html

相关文章

蓝桥杯DS18B20程序源码

蓝桥杯DS18B20程序源码解析 蓝桥杯,作为一项全国瞩目的电子设计竞赛,其核心挑战在于参赛者需深度融合单片机编程与各类电子元件的应用能力。在众多项目中,涉及DS18B20数字温度传感器的程序源码尤为引人注目,它巧妙地将单片机技术…

开源项目低代码表单FormCreate中ElementPlus表单使用校验规则示例

在开源项目低代码表单FormCreate 中,可以通过 validate 配置项为表单组件设置验证规则。无论是内置的表单组件还是自定义的表单组件,都支持表单校验。本文将详细介绍验证规则的使用方法,并提供一些示例来帮助您更好地理解和应用这些功能。 源…

ISO 21434与网络安全管理系统(CSMS)的协同作用

ISO/SAE 21434与CSMS(网络安全管理系统)之间的关系主要体现在以下几个方面: 提供指导框架:ISO/SAE 21434《道路车辆—网络安全工程》是一项国际标准,它为汽车行业提供了实施网络安全管理系统的国际认可的方法和最佳实…

模板匹配应用(opencv的妙用)

在图像处理领域,模板匹配是一种常用的技术,用于在一幅大图中寻找与给定模板最匹配的区域。OpenCV作为一个强大的计算机视觉库,提供了cv2.matchTemplate()函数来实现模板匹配功能。本文将详细介绍OpenCV中的模板匹配技术,包括其原理…

qmt量化交易策略小白学习笔记第64期【qmt编程之获取获取期权全推数据--code_list全推tick数据】

qmt编程之获取期权数据 qmt更加详细的教程方法,会持续慢慢梳理。 也可找寻博主的历史文章,搜索关键词查看解决方案 ! 获取期权全推数据 获取全推tick数据的函数是用户主动调用的工具。所谓"全推tick数据",指的是以t…

Android 应用使用theme处理全局焦点框

背景 我的应用有个需求,要求处理keycode事件,进行焦点移动处理,必须定制指定的焦点框。而系统的焦点框是固定了,为了保证平台的一致性,没办法直接修改。 问题 经过沟通,大部分都是自行修改了自己的backg…

ARM base instruction -- cset

CSET Conditional Set sets the destination register to 1 if the condition is TRUE, and otherwise sets it to 0. 如果条件为TRUE&#xff0c;则条件集将目标寄存器设置为1&#xff0c;否则设置为0。 32-bit variant Applies when sf 0. CSET <Wd>, <…

Spark MLlib模型训练—推荐算法 ALS(Alternative Least Squares)

Spark MLlib模型训练—推荐算法 ALS(Alternative Least Squares) 如果你平时爱刷抖音,或者热衷看电影,不知道有没有过这样的体验:这类影视 App 你用得越久,它就好像会读心术一样,总能给你推荐对胃口的内容。其实这种迎合用户喜好的推荐,离不开机器学习中的推荐算法。 在…

SimPO

添加链接描述 优化点两个&#xff1a; gamma长度正则 gamma 原始DPO把两部分母拿出来是 − l o g π r e f ( w i n ) π r e f ( l o s e ) -log \frac{\pi_{ref}(win)}{\pi_{ref}(lose)} −logπref​(lose)πref​(win)​ 由于构建数据集时常常把不满意的大模型输出作为…

操作系统 ---- 调度算法【先来先服务(FCFS)、最短作业优先(SJF)、最高响应比优先(HRRN)】

目录 一、常见的调度算法 1. 先来先服务&#xff08;FCFS, First-Come, First-Served&#xff09; 2. 最短作业优先&#xff08;SJF, Shortest Job First&#xff09; 3. 优先级调度&#xff08;Priority Scheduling algorithm&#xff0c;PSA&#xff09; 4. 轮转调度&am…

python 函数 封装

封装 函数的参数是&#xff1a;变量 def 函数(参数):print(参数)if __name__ __main__:函数(参数)函数(参数2)函数的参数是&#xff1a; 字典 import requests# 定义一个字典 data {} 地址 "https://webdriveruniversity.com/" 请求方法 getdata["url"…

Hi3519DV500_Uboot环境变量的编译和烧录

Hi3519DV500_Uboot环境变量的编译和烧录 U-Boot 环境变量在嵌入式系统的引导加载程序中扮演着重要的角色。它们用于存储系统启动时所需的配置信息&#xff0c;如启动命令、内核和根文件系统的位置、串口波特率等。以下是一些常用的 U-Boot 环境变量及其用途&#xff1a; bootde…

安宝特案例 | AR如何大幅提升IC封装厂检测效率?

前言&#xff1a;如何提升IC封装厂检测效率&#xff1f; 在现代电子产品的制造过程中&#xff0c;IC封装作为核心环节&#xff0c;涉及到复杂处理流程和严格质量检测。这是一家专注于IC封装的厂商&#xff0c;负责将来自IC制造商的晶圆进行保护、散热和导通处理。整个制程繁琐…

使用vuex模仿el-table

1、vuex 在main.js引入 import Vue from vue; import Vuex from vuex;Vue.use(Vuex);const store new Vuex.Store({state: {// 定义要传递的数据datas: []},mutations: {// 定义修改数据的 mutationSET_DATAS(state, newDatas) {state.datas newDatas;}},actions: {// 定义…

Java面试篇基础部分-Java的类加载机制

JVM的类加载 JVM在运行Java文件的时候,类加载分为5个阶段:加载、验证、准备、解析、初始化。在类初始化加载完成之后,就可以使用这个类的信息了。当这个类不需要使用的时候,就可以从JVM进行卸载。 加载 加载是指JVM读取Class文件的操作,并且根据Class的文件描述创建对应的…

聚鼎科技:现在做装饰画是靠谱的吗

在生活的各个角落&#xff0c;艺术以多种形式存在着&#xff0c;而装饰画作为其中的一种&#xff0c;一直以其独特的魅力填充着我们的世界。但在这个快速变化的时代&#xff0c;许多人会问&#xff1a;现在做装饰画还是一个靠谱的选择吗? 装饰画的市场依旧充满生机。随着人们对…

Java ssm超市订单管理系统(详细文档)

学生选课系统论文 摘要 随着互联网趋势的到来&#xff0c;各行各业都在考虑利用互联网将自己推广出去&#xff0c;最好方式就是建立自己的互联网系统&#xff0c;并对其进行维护和管理。在现实运用中&#xff0c;应用软件的工作规则和开发步骤&#xff0c;采用Java技术建设小…

Linux从入门到开发实战(C/C++)Day10-线程

1.概念&#xff1a; 线程是一个函数&#xff0c;是os调度的基本单位 Linux内核在2.2版本之前&#xff0c;是没有线程的概念&#xff0c;只有有限个进程&#xff08;4096&#xff09; 在2.4版本中&#xff0c;有了线程的概念&#xff0c;而且可…

安全工具 | 使用Burp Suite的10个小tips

Burp Suite 应用程序中有用功能的集合 img Burp Suite 是一款出色的分析工具&#xff0c;用于测试 Web 应用程序和系统的安全漏洞。它有很多很棒的功能可以在渗透测试中使用。您使用它的次数越多&#xff0c;您就越发现它的便利功能。 本文内容是我在测试期间学到并经常的主要…

配环境时的一些记录

连centos&#xff1a;正常连就好&#xff08;密码验证码&#xff09;连rocky&#xff1a;需要在centos上连&#xff0c;终端里直接ssh [rocky_ip]&#xff1b;在vscode中需要&#xff1a; 修改配置文件&#xff1a;打开命令面板&#xff08;ctrlshiftp&#xff09; -> 输入并…