今天我们将探讨Elon Musk新推出的AI模型——Grok2，以及其mini版本Grok2 Mini。这个新模型在发布之前被误认为是GPT-5，甚至我也猜测它可能是来自Coher的产品，但最终证实它是Grok2。让我们一起来看看这个新模型的创新性和其在各种基准测试中的表现吧。
Grok2-Grok2 mini
Grok2是Grok1.5的升级版，具备了更强的聊天、编码和推理能力Grok2mini则是它的小型版本，尽管体积较小，但同样功能强Grok2克2在LMS排行榜上表现出色，超过了Claude 3.5 Sonet和GPT-4 Turbo，并在多个基准测试中取得了不错的成绩。
基准测试表现
在BPQA基准测试中，Grok2击败了除Claude 3.5 Sonet以外的所有模型，Grok2mini则接近但未能超越GPT-4或Sonet。在MML测试Grok2克2落后于Llama 3.1 405B、GPT-4和Claude 3.5 Sonet，但在MML Pro测试中表现有所提升，超过了Llama 3.1 45005B和GPT-4，尽管仍未能击败Claude 3.5 Sonet。
在数学基准测试中，Grok2表现出色，击败了Claude等其他模型，并接近GPT-4。Grok2mini在数学方面也表现良好，超过了Claude 3.5 Sonet，并接近Llama 3.1 45B。然而，在人类推理和编码测试Grok2克2mini迷你版本表现不佳，未能击败Llama 3.1 405B、GPT-4或Claude 3.5 Sonet。
操作和访问
目前，Grok2和mini版本正处于beta测试阶段，仅对部分Xpro用户开放。获得测试权限后，用户还可以使用Flux图像生成器，这Grok2的合作伙伴。此Grok2未来还计划推出API，使其成为第一个大型未经过滤的模型，这无疑是令人期待的。
实际测试
为了验证上述基准测试的结果，我们对Grok2进行了实际测试。我们设置了13个问题来评估其性能。这些问题涵盖了地理、数学和编码等多个领域。
地理和数学问题
- 首都问题：询问一个国家的首都，其名称以“Leah”结尾。Grok2未能正确回答。
- 数字问题：询问与描述高大植物的词语押韵的数字。Grok2正确回答为“三”。
- 铅笔问题：询问John有多少支铅笔（每盒12支，共3盒）。Grok2正确回答为36支。
- 糖果问题：询问Lucy的糖果数量（是Mike的两倍，Mike有7颗糖果）。Grok2正确回答为14颗。
- 质数问题：询问337是否为质数。Grok2正确回答为“是”。
- 苹果问题：询问吃掉半个苹果派后，还剩几颗苹果。Grok2正确回答为2颗。
- 兄弟姐妹问题：询问Sally有几个姐妹。Grok2正确回答为1个。
- 六边形问题：询问一个正六边形的长对角线长度。Grok2未能正确回答。
编码问题
- HTML按钮问题：创建一个点击按钮后会显示彩带的HTML页面。Grok2正确生成了代码。
- Python程序问题：创建一个Python程序，输出用户输入的下一个X个闰年。Grok2正确生成了代码。
- SVG代码问题：生成一只蝴蝶的SVG代码。Grok2正确生成了代码。
- 登陆页面问题：创建一个AI公司的登陆页面，包括头部、横幅、功能和联系我们部分。Grok2正确生成了代码。
- 生命游戏问题：在终端上编写一个生命游戏的Python程序。Grok2正确生成了代码。
结果总结
综合来看，Grok2在地理和数学问题中仅有两次错误，而在编码问题中表现出色。相比之下Grok2mini在大多数测试中也表现良好，但在一些复杂问题上仍有差距。总体而Grok2展示了其强大的能力，特别是在数学和编码领域。
随着Grok2和mini版本的逐步推广，我们可以期待其在实际应用中的更多表现。其即将推出的API也将为开发者提供更多的可能性，使其成为一个重要的AI工具。
关注我，每天带你开发一个AI应用，每周二四六直播，欢迎大家多多交流。
