得分比第二名翻倍开云官网切尔西赞助商，本钱却仅为 1/20？！

o3 中杯在超难推理任务 ARC-AGI 上的新收成，属实又给世东谈主带来了亿点点颤动。

根据 ARC Prize 官方先容，本轮测试得出的要津论断如下：

o3 ( Medium ) 在 ARC-AGI-1 上得分为57%，本钱为1.5 好意思元 / 任务，优于现时通盘已知 COT 推理模子；

o4-mini（Medium）在 ARC-AGI-1 上得分为42%，本钱为0.23 好意思元 / 任务，准确率不及但本钱上风彰着；

在难度升级的 ARC-AGI-2 上，两种型号模子的准确率均未卓越 3%。

按照最新 ARC 测试，中杯 o3 号称现时 OpenAI 通盘模子中的"性价比之王"。

不外值得端庄的是，比较 2024 年 12 月 OpenAI 在"双十二"直播行径中发布的 o3 模子，最新收成可谓"大幅缩水"。

其时 o3 在低推理才能缔造下（Low）得分高达 75.7%，况兼让模子推理更万古分后，其得分更是初次超越东谈主类（85%）飙升至 87.5%。

那么问题来了，为何短短几个月当年，o3 模子在 ARC 测试上的得分各异彰着呢？

本来前后两个模子固然称呼不异，但骨子并非相易的模子。

OpenAI 当下最新的 o3，已针对聊天和居品期骗进行了微调。

图源：ARC Prize 官网

致使，OpenAI 商榷员们也强调，最新发布的 o3 并未挑升针对 ARC-AGI 测试进行查考。

也即是说，中杯 o3 第一次挑战 ARC 勤勉就取得了好收成。

宾大沃顿商学院讲授 Ethan Mollick 更是直言：

现时有更多的字据标明， o3 代表着一次紧要越过。

与此同期，时间杂志发表的一篇独家著述暗示，o3 优于 94% 的专科病毒学家。其在这一专科领域的准确率达到了 43.8%，比较之下博士级东谈主类群众的准确率仅为 22.1%。

中杯 o3 ARC-AGI 测试收成出炉

ARC-AGI 是一项旨在评判大模子的"本领"，大要说" AGI 才能"的基准测试。

内部包含了一系列拼图问题，条款 AI 从不同颜料的方块中识别出视觉样式，并生成正确的 "谜底" 网格。这些问题主若是为了迫使 AI 符合未始见过的新问题。

正如起原所言，在 ARC-AGI-1 中，o3 模子曾以 75.7% 的得分"飞扬拨扈"。而在看到这一收成后，ARC 官方感受到了进一步更新的关键性。

于是在 2024 年 3 月，他们上新了 ARC-AGI-2 版块，中枢认识是测试模子能否高效地获取超出其查考数据的新妙技。

具体而言，在 ARC-AGI-1 基础之上，官方引入了更多记号讲授、多组合秩序以及需要更深档次详细的任务，难度再次大升级。

恰是基于以上两个测试基准，在 OpenAI 最新上线了 o3 和 o4-mini 之后，ARC 又再行进行了测试。

除了中杯 o3 取得的好收成，更多测试落幕如下：

最初是 o3 ( high ) ，ARC 官方自称铺张卓越 5 万好意思元，最终仍未赢得 o3 ( high ) 的竣工测试论断。

原理是，在高推理才能缔造下，模子在大大王人情况下均无法反应或超时，临了只须不到一半的任务复返了落幕。

不外参与审查的 Mike Knoop 暗示，残忍默许使用 o3 ( high ) 缔造，除非遭遇超时才切换到 Medium 选项。

同期他合计，固然中杯 o3 的准确率远低于 o3-preview（旧年 12 月的版块），但毫无疑问 o3 合座在准确率和本钱优化方面作念得特地出色。

如今，你在其他任何所在王人买不到 o3 级别的 AI 推理才能。

要而言之，本轮测试落幕标明，中杯 o3 在接受 o3-preview 大部分新功能的前提下，本钱有了大幅下跌。

除此除外，ARC 官方还得出了三个要津发现：

1、早期反应准确率更高：模子越早复返的任务，准确率越高。而那些耗时更长（不管是驱动时分还是 token 使用量）的任务，失败的可能性更大。

2、高等推理可能成果低下：在相易任务上比较中杯 o3 和 o3 ( high ) 时，发现后者永久使用更多 token 来得出相易的谜底。

3、每秒 token 数的最小变化：在 o 系列模子中，不同任务的每秒 token 数各异较小。至极是 o3-mini-low 和 o4-mini-low 的糊涂量（tok/s）高于中高版块。

One More Thing

顺带一提，ARC 官方早前还测试过 DeepSeek-R1。

最终落幕是，在 ARC-AGI-1 基准上，DeepSeek-R1 得分为 15.8%，远低于 o3 模子。

你如何看 o3 的新测试？

参考相接：

[ 1 ] https://x.com/arcprize/status/1914758993882562707

[ 2 ] https://arcprize.org/blog/analyzing-o3-with-arc-agi

[ 3 ] https://arcprize.org/blog/r1-zero-r1-results-analysis

一键三连「点赞」「转发」「留心心」

迎接在批驳区留住你的念念法！

—  完  —

� � 点亮星标 � �

科技前沿阐扬逐日见开云官网切尔西赞助商

---