扩大定律(Scaling)的新高度: “扩大受限于现存 Token 数量”的不雅点已不再成立,这归功于带有可验证嘉奖的强化进修。固然我们尚未达到 AlphaGo 的“第 37 手”时刻,但将来这真的弗成能吗?在某些义务中(例如优化法度榜样的运行速度),理论上模型可以在清楚的嘉奖旌旗灯号引导下,在极长的时光内持续取得进步。我信赖,应用于 LLM 的强化进修改进将是 AI 范畴的下一个重大年夜冲破。
Redis 之父 Antirez 最新博客文章:《Reflections>对人工智能的思虑。
思维链(CoT)的本质: 思维链现已成为晋升 LLM 输出质量的基本手段。但 CoT 毕竟是什么?为什么它能晋升输出?我认为原因有二:1. 在模型表征中进行采样(即一种情势的内部搜刮)。当与提示主题相干的空间信息和概念进入高低文窗口后,模型能更好地做出答复。2. 结合强化进修(RL):模型学会了为了收敛到某个有效的答复,而将一个个 Token 依次分列(每个 Token 都邑改变模型状况)。

从“随机鹦鹉”到实际: 多年以来,尽管功能证据和科学线索赓续积聚,某些 AI 研究人员仍坚称大年夜说话模型(LLM)只是“随机鹦鹉”:即一种仅凭概率运作的机械,它们:1. 对提示词(Prompt)的含义没有任何表征。2. 对本身将要说的话没有任何表征。直到 2025 年,几乎所有人终于都不再这么说了。
编程界的改变: 法度榜样员对 AI 帮助编程的抵触情感已明显降低。即使 LLM 会犯错,但其交付有效代码和提示的才能已晋升到让大年夜多半困惑论者也开端应用的程度:如今的投资回报率(ROI)对更多人来说已是可接收的。编程界今朝仍分为两派:一派将 LLM 视为“同事”(例如,我所有的交互都是经由过程 Gemini、Claude 的 Web 界面完成的),另一派则将 LLM 视为自力的编程智能体(Agents)。
范式之争与 AGI: 少数有名 AI 科学家信赖,Transformer 的事业可以循着不合路径再次产生,甚至表示更好。他们已组建团队和公司,研究 Transformer 的替代筹划,以及具有显式符号表征或世界模型的模型。但我认为,LLM 是在可以或许切近亲近离散推理步调的空间上练习的微分机,即使没有根本性的新范式出现,它们也有可能带我们走向通用人工智能(AGI)。AGI 很可能经由过程多种截然不合的架构自力实现。
关于 CoT 的“谎话”: 有人声称思维链从根本上改变了 LLM 的本质,并以此为饰辞辩护:他们以前认为 LLM 局限性很大年夜,如今改口是因为 CoT 让 LLM 变成了不合的器械。他们在撒谎。架构依然如故,目标依然是猜测下一个 Token,思维链也恰是如许由一个个 Token 堆叠而成的。
ARC 测试的转型: 如今,ARC 测试(抽象推理基准)看起来不再像最初认为的那样弗成超越。针对特定义务优化的小型模型在 ARC-AGI-1 上表示尚可,而带有大年夜量思维链的超大年夜型 LLM 在 ARC-AGI-2 上取得了令人印象深刻的成就——尽管很多人曾断言这种架构无法实现此类成果。在某种程度上,ARC 已从“反 LLM 测试”改变为“LLM 验证测试”。
最终挑衅: 将来 20 年,人工智能面对的根本挑衅是避免人类灭尽。
来源:https://weibo.com/2194035935/QjrihBlme

发表评论 取消回复