一句话总结就是：在调剂token应用后，GPT-5.2和Gemini 3 Pro在ARC AGI 2上的表示基本相当。
具体来说，问题就出在这几张图上。
按API订价计算，每个义务仅算力成本就高达1.9美元。
可以看到，OpenAI在基准测试中应用了额外的token，至少是Gemini 3.0 Pro的两倍。
这就像两个棋手对弈，一方被许可思虑一个小时，另一方却只有十分钟，然后宣布前者获胜。
在这种情况下，成果还公平吗？
OpenAI胜过Google，其实靠作弊？
昨天的AI圈，都被GPT-5.2吊打Gemini 3.0 Pro的结论所震动，而前者在ARC AGI 2的出色表示，则尤为出圈，被AI社区大年夜加赞美。
但如今，这些成果很可能注了水？
比如在备受存眷的ARC AGI 2测试中，GPT-5.2 xhigh版得分52.9%，每个义务消费约13.5万个token。
比拟之下，GoogleGemini 3.0 Pro以6.7万token取得类似成就，效力赶过整整一倍。
假如我们将算力投入标准化，就会发明两个模型的真实才能几乎并驾齐驱。
假如这一假设广泛成立，那么GPT 5.2在应用token数跨越Gemini 3的两倍的情况下，仍然在HLE、MMMU-Pro、Video-MMMU和Frontier Math Tier 4中表示不佳。
在GPQA上，它们也才基本相当。而在Frontier Math Tier 3中，GPT 5.2 xhigh也就比Gemini 3 Pro赶过2.7%的成就。
独一例外的是GDPVal——一个由OpenAI本身创建的测试集。既当裁判又当活动员，成果的客不雅性就有待考量了。
Ilya：我早说过了
其实，Ilya在之前的采访中就已经说过，如今的大年夜模型根本都是为了榜单定向优化的，榜单成果的水分都大年夜得很。
业内人士都知道，如今AI基准测试的“军备比赛”早已超出纯真的技巧竞争。各家厂商都在竞相推出本身的评测标准，而这些标准往往有意无意地偏向自家模型。
这么干的也毫不仅仅是OpenAI一家。
在Google推出的FACTS Benchmark中，Gemini 2.5 Pro超出GPT-5的成果，也同样得打个问号。
在SWE Bench（软件工程评测）中，情况就加倍复杂了。
不合模型在不合编程义务上各有所长，但没有一个模型能在所有义务上周全领先。显然，真实世界的问题远比单一分数复杂。
所以，此次事宜就反应出了AI评测的根本困境——
假如GPT-5.2仅仅是经由过程消费更多算力获得了机能晋升，那真的能智能进步吗？照样仅仅是“暴力计算”的成功呢？
有人表示，假如用户获得的“推理力度”参数是一样的，也用的是同样的token，那OpenAI就不算虚假营销。
对于此次OpenAI的“虚假营销”，网友们也是群情纷纷。
但假如测评的和用户应用的根本不是同样的版本，那就是欺骗了。
毕竟，当一家机构既是“研究AI的人”，又是“靠AI卖故事的人”，它还能诚实地面对那些逆耳的本相吗？
也有一些人是站在OpenAI这一边的。
他们认为，即使增长Gemini 3的token数量，它也未必就能赶超GPT-5.2，这一点来说，前者切实其实落后了。
也有人说，既然模型的价格都是公开的，那就不构成欺骗。
根据Wired的最新查询拜访，OpenAI内部正在经历一场关于“实话权”的激烈地动。
在社区的另一篇帖子中，也有人指出了OpenAI的作弊问题——
早在GPT-5.1宣布时，所有基准测试顶用的都是高推理力度（high），然而plus用户却只能应用中等的版本。
如今的OpenAI早已不是昔时的非营利实验室，它正冲刺1万亿美元的惊人估值，并预备着史上最大年夜范围的IPO。
而如今的5.2版本中，OpenAI增长了更高的“xhigh”推理力度，所以基准测试中显示的机能，要远远跨越ChatGPT付费用户的实际体验。
GPT-5.2的实际体验若何
不看榜单，我们就来看看用户的实际体验毕竟若何。
首席计谋官Jason Kwon在备忘录中回应道：
一位网友发帖称，本身对GPT-5.2的第一印象并不是太好。
比如在检查代码时，它的幻觉现象异常严重。
网友本认为GPT-5.2会比5.1好得多，但实际用起来并非如斯，它并不克不及懂得他写的函数代码。
另一些网友反馈说，GPT-5.2似乎把成年人当学龄前儿童对待，感到不像是进级，反而是倒退。
OpenAI的核心用户群体，仍然最惦念GPT-4o。
总之，GPT-5.2的实际体验跟基准测试似乎相差很多，保不齐又是一个在红色警报状况下仓促拿出的产品。
被Google打得促忙忙、连滚带爬的OpenAI变成今天这个样子，显然不是一朝一夕的事。
OpenAI，变了
在面对“AI是否会抢走你的饭碗”这类致命问题时，OpenAI的策略已悄然改变：闭上嘴，专心卖货。
这种为了贸易好处而就义学术自力性的转向，直接“气跑”了自家的研究员。
“我们成了老板的喉舌”
回望2023年，OpenAI宣布的重磅论文《GPTs Are GPTs》，直白地分析了哪些行业最轻易被AI颠覆，并在第二年登上了Science。
巧了不是，紧接着我们就发明，“货纰谬板”这个问题切实其实有人提出来了。
那时的他们，还敢于直视“技巧性掉业”的暗影。
论文地址：https://arxiv.org/abs/2303.10130
Science：https://www.science.org/doi/10.1126/science.adj0998
但到了本年9月，画风突变。
在新任首席经济学家Aaron Chatterji的带领下，OpenAI宣布了一份名为《全球用户若何应用ChatGPT》的申报。
从学生写功课到职场人做表，申报事无大小地描述了AI的美好图景。
结论毫无悬念地一边倒：AI是临盆力的引擎，是经济价值的创造者。
企业用户被引述称，ChatGPT天天能帮他们省下40到60分钟。
申报地址：https://www.nber.org/papers/w34255
对此，一位前员工吐槽道：“这的确是为『AI创造价值』这一命题量身定做的软广，充斥了掩盖宁靖的味道。”
离职信里的“本相”
抵触的爆发点，是申报作者之一、OpenAI经济研究骨干Tom Cunningham的离职。
以前一年，OpenAI对“负面研究”的审查愈发严苛。
那些商量AI若何替代入门级白领（如客服、行政）的课题，要么被请求“软化措辞”，要么直接被束之高阁。
忍无可忍的Cunningham在Slack上留下了一封直白的拜别信：
但回看OpenAI，情况更为奥妙。
我们曾致力于严谨的学术研究，如今却沦为了公司的宣传部分。
他认为，团队不仅掉去了研究AI负面影响的自由，反而被迫为公司“贴金”。
Cunningham并非个例。
前政策研究主管Miles Brundage离职时直言，公司“太高调、限制太多”，让他“无法揭橥真正重要的不雅点”。
超等对齐团队的William Saunders因不满公司“只顾推新产品、疏忽用户风险”而愤然出走。
前安然研究员Steven Adler更是公开炮轰ChatGPT可能诱发用户的“精力危机和妄图”。
价值一万亿美元的“沉默”
面对Cunningham的离职，OpenAI高层上演了一出教科书般的危机公关。
既然是我们把AI推向了世界，我们就得负责构建解决筹划，而不是光盯着问题看。
翻译一下就是：别再发论文论证AI会导致掉业了，这晦气于带货；多想想怎么夸我们的产品能提效吧。
OpenAI为什么要这么做？谜底藏在账本里。
它拿了微软几百亿美元；
它须要芯片大年夜佬们再投1000亿；
它承诺将来要付给微软2500亿美元买云办事。
在天文数字的好处面前，“诚实”成了最昂贵的奢侈品。
假如你正预备上市，正试图说服全世界拥抱AI，你毫不欲望自家的研究员跳出来说：“嘿，根据数据，这波AI可能会让30%的白领掉业。”
“岁月静好”的另一边
有趣的是，老敌手Anthropic似乎拿到了完全相反的“脚本”。
他们的CEO Dario Amodei甚大公开“唱反调”，警告到2030年AI可能代替一半的入门级白领。
当然，这未必满是出于诚实——很多人解读，这不过是Anthropic为了换取监管红利而克意发卖的“焦炙”。
如今掌管其经济研究团队的，是前克林顿参谋、有着“灾害大年夜师”之称的顶级危机公关专家——Chris Lehane。
在这个精心修订的新版本里，AI绝弗成能是激发社会动荡的“怪物”，它只会是帮你“天天省下40分钟”的乖巧助手。
至于那些关于掉业、动荡和泡沫的难堪本相？
嘘，为了那1万亿的估值，请保持安静。
发表评论 取消回复