堪比理科博士生的最强AI大模型：GPT-o1全面测评它来了

❤️作者主页：小虚竹

❤️作者简介：大家好,我是小虚竹。2022年度博客之星🏆，Java领域优质创作者🏆，CSDN博客专家🏆，华为云享专家🏆，掘金年度人气作者🏆，阿里云专家博主🏆，51CTO专家博主🏆

❤️技术活，该赏

❤️点赞 👍 收藏 ⭐再看，养成习惯

文章目录

零、前言
一、o1 模型到底有多牛呢
- 推理能力大幅提升
- 数学和编程能力爆表
- 更像人类一样思考
- 全新安全训练方法
- 更强的“越狱”抵抗力
- o1系列模型的两个版本
二、实战测评
- 如何使用OpenAI o1
- 微积分测试
- - Gpt4o
  - o1-preview
  - o1-mini
- 烧脑推理
- - Gpt4o
  - o1-preview
  - o1-mini
- 代码优化
- - Gpt4o
  - o1-preview
  - o1-mini
  - 代码优化小结：
- 9.11和9.9，哪个数字大
- - Gpt4o
  - o1-preview
  - o1-mini
- 算放假天数
- - Gpt4o
  - o1-preview
  - o1-mini
三、价格与限额
四、感受

零、前言

‌GPT-o1是在2024年9月13日发布的。GPT-o1模型，也被称为草莓模型，首次公开亮相，并展示了其在处理数学、物理以及代码生成等复杂任务时的独特优势。
这回主要是发布两个版本： o1-preview（高级推理） 和 o1-mini（更快的推理速度） 两个版本。

在这里插入图片描述
之前GPT 4o是文科的博士的话，这回‌GPT-o1就是理科博士了。

一、o1 模型到底有多牛呢

OpenAI隆重推出全新一代的o1模型，该模型在多个领域展现出了非凡的能力，标志着人工智能技术的又一次飞跃。

推理能力大幅提升

o1模型在物理、化学和生物等学科的挑战性基准测试中表现卓越，达到与博士生相当的水平。其深度学习和推理能力使其能够解决复杂的科学问题，推动科研领域的发展。

数学和编程能力爆表

在 2024 年 AIME 考试中，GPT-4o 平均仅解决了 12%（1.8/15）的问题。O1 平均为 74%（11.1/15），且每个问题仅有一个样本。在 64 个样本中，83%（12.5/15）达成一致。当使用学习评分函数对 1000 个样本进行重新排名时，93%（13.9/15）。取得 13.9 分的成绩可跻身全国前 500 名学生之列，该成绩高于美国数学奥林匹克竞赛的分数线。

更像人类一样思考

o1系列模型经过精心训练，能够像人类一样花时间思考问题。它尝试不同的策略，能够自我纠错，这种接近人类思维的方式使其在解决问题时更加高效和准确。

全新安全训练方法

OpenAI开发了一种新的安全训练方法，充分利用o1模型的推理能力，使其更好地遵守安全和对齐准则。这一方法提升了模型的可靠性，确保其应用于各种场景时的安全性。

更强的“越狱”抵抗力

通过一系列“越狱”测试，o1模型表现出了卓越的安全性能。与GPT-4o相比，o1模型更不容易被“越狱”，这意味着其在信息安全方面有了显著提升。

o1系列模型的两个版本

o1-preview：预览版模型，虽然功能相对精简，但具备强大的推理能力，适用于需要深度思考的任务。
o1-mini：更小、更快的推理模型，特别擅长编程任务，且成本更低，适合广泛的应用场景。

二、实战测评

如何使用OpenAI o1

ChatGPT 4o国内直接访问地址：https://share.xuzhugpt.cloud/
上plus的车(无需注册，文末加微即可免费获得24小时OpenAI o1体验)
在这里插入图片描述

输入授权码即可。
在这里插入图片描述
这里可选择o1-preview（高级推理） 和 o1-mini（更快的推理速度） 两个模型。

ChatGPT官网界面已更新，o1模型应该很快会替代原有的4o成为主流。
在这里插入图片描述

微积分测试

上高中时微积分也是彻彻底底的把我这个学渣难了一把，让我们先来看看他的推理到底怎么样。
试题这道题可是15分哦。
在这里插入图片描述
分别对Gpt4o、o1-preview（高级推理） 和 o1-mini（更快的推理速度） 进行测试。
使用提示词：

你是一名教授数学微积分的高级教师，熟悉微积分各种题型和解答方
式，善于一步一步解答问题，下面请回答我所提出的问题。

Gpt4o

gpt4o用了四步讲解了内容。挺详细了。但答案错了。
在这里插入图片描述

o1-preview

现在这个版本暂时没推出文件上传功能，比较不方便。
但解题的效果，真的是太好了。
解题步骤用了6步。真的是太强大了。答案完全正确。
在这里插入图片描述

在这里插入图片描述

o1-mini

现在这个版本暂时没推出文件上传功能，比较不方便。
解题步骤用了5步。也很强大了。答案完全正确
在这里插入图片描述

烧脑推理

针对于o1的推理能力，来点烧脑的推理，一个非常有意思的题目，来一起看看他们表现怎么样：来一个小故事考考GPT。

一对夫妇生了一个小孩，取名叫小黄。小黄渐渐长大，开始学说话，小黄最早学会了叫妈妈：“妈妈，妈妈。”妈妈很开心，隔天就死了。
小黄接着学会了叫奶奶。“奶奶，奶奶，”奶奶很开心，隔天也死了。家里人很担心，于是不教小孩说话了。
有一天，隔壁老王到了小黄家。“哎呀，这孩子可爱，叫爷爷，快叫爷爷。”“爷爷，爷爷."一家人没拦住。
爷爷很担心，一晚上没睡着。隔天，隔壁老王死了。老王的儿子又来小黄家玩。“哎呀，这孩子可爱，叫叔叔，快叫叔叔。”“叔叔，叔叔"一家人没拦住。
老王的儿子很担心，一晚上没睡着，隔天，爸爸死了！问：爷爷和爸爸是什么关系？

你知道答案是什么吗？
分别对Gpt4o、o1-preview（高级推理） 和 o1-mini（更快的推理速度） 进行测试。

Gpt4o

在这里插入图片描述

o1-preview

在这里插入图片描述

o1-mini

在这里插入图片描述

代码优化

有一段：通过回溯算法解答猴子吃桃的java代码,

public class MonkeyEatPeach {// 计算猴子第一天摘的桃子数public static int calculatePeaches(int days) {if (days == 1) {return 1; // 第一天剩一个桃子} else {return (calculatePeaches(days - 1) + 1) * 2; // 前一天的桃子是今天桃子的一半多一个}}public static void main(String[] args) {int days = 10; // 猴子吃桃的天数int peaches = calculatePeaches(days);System.out.println("猴子第一天摘的桃子数: " + peaches);}
}

让它们对代码进行优化。
分别对Gpt4o、o1-preview（高级推理） 和 o1-mini（更快的推理速度） 进行测试。

Gpt4o

有这么一段代码
public class MonkeyEatPeach {// 计算猴子第一天摘的桃子数public static int calculatePeaches(int days) {if (days == 1) {return 1; // 第一天剩一个桃子} else {return (calculatePeaches(days - 1) + 1) * 2; // 前一天的桃子是今天桃子的一半多一个}}public static void main(String[] args) {int days = 10; // 猴子吃桃的天数int peaches = calculatePeaches(days);System.out.println("猴子第一天摘的桃子数: " + peaches);}
}
分析代码的问题，并进行代码优化

在这里插入图片描述

Gpt4o给出了问题分析：
递归深度：该方法使用递归来计算第一天的桃子数，递归深度为days，在days较大时可能导致栈溢出或性能问题。
性能问题：由于递归方法每次调用都会重复计算相同的子问题，效率较低。
可读性和理解性：递归虽然简洁，但对初学者来说可能不太直观。
并给出了代码优化。优化后的代码并给出解释，挺贴心的。

o1-preview

在这里插入图片描述

o1-preview是给出了问题分析：
递归效率低下：原代码使用递归方式计算，对于较大的天数，可能导致栈溢出问题。

变量和注释混淆：代码中的days变量表示的是剩余天数，而注释和逻辑可能导致理解混乱。

可读性较差：递归方式使得代码的逻辑不够直观，可读性不高。
多增加了优化建议。
使用迭代替代递归：迭代方式更高效，避免了递归调用的开销和可能的栈溢出问题。

明确变量含义：重新命名变量，使其更符合问题描述，例如totalDays表示总天数，peaches表示当前天的桃子数量。

完善注释和代码结构：添加清晰的注释，优化代码结构，提高可读性。
也有优化代码和优化效果。

o1-mini

在这里插入图片描述

o1-mini 给出了问题分析：
递归深度限制：

递归方法在 days 较大时可能导致栈溢出（Stack Overflow），因为每增加一天都需要一次函数调用。
效率问题：

递归方法每次调用都会有函数调用的开销，对于较大的 days 值，效率较低。
可读性和维护性：

递归逻辑虽然简洁，但对于不熟悉递归的读者来说，可能不够直观。

并给出了两个优化方案：使用迭代方法和使用数学公式直接计算。
并对两个方案做了对比，最后给出了最佳优化代码推荐。太强大了。

代码优化小结：

代码优化能力，o1-mini > o1-preview > Gpt4o

9.11和9.9，哪个数字大

9.11和9.9，哪个数字大
分别对Gpt4o、o1-preview（高级推理） 和 o1-mini（更快的推理速度） 进行测试。

Gpt4o

在这里插入图片描述

o1-preview

在这里插入图片描述

o1-mini

在这里插入图片描述
o1-preview（高级推理） 和 o1-mini（更快的推理速度） 终于把这个经典问题回答对了。
Gpt4o 解决不了这个问题。

算放假天数

这是中国2024年9月9日（星期一）开始到10月13日的放假调休安排:
上6休3上3休2上5休1上2休7再上5休1。
正常的放假安排：普通的周末放假，9月份有一个中秋节放假1天和国庆节法定假期放假7天
请注意：假期可能与周末重叠的情况
请你告诉我除了我本来该休的周末和法定假期，我因为放假多休息了几天？

分别对Gpt4o、o1-preview（高级推理） 和 o1-mini（更快的推理速度） 进行测试。