这是对视频 《What’s Next for AI? OpenAI’s Lukasz Kaiser (Transformer Co-Author)》 的内容观点总结。 视频简介： 本期节目采访了 OpenAI 的研究员、Transformer 架构的核心作者之一 Lukasz Kaiser。他深入探讨了 AI 发展的现状，反驳了“AI 进步放缓”的论调，并详细解释了以 OpenAI o1 (视频中可能指代为 reasoning models 相关的进展) 为代表的**推理模型（Reasoning Models）**如何引领 AI 进入新的范式。 核心观点总结 1. AI 进步并未放缓，而是进入了新范式 指数级增长仍在继续： Kaiser 认为 AI 的能力增长依然遵循平滑的指数曲线，类似于摩尔定律。外界感知的“放缓”是因为我们正处于从单纯的“预训练（Pre-training）”向“推理（Reasoning）”范式转移的过渡期。 预训练没有触顶： Scaling Laws（缩放定律）依然有效，增加算力仍能降低 Loss。但目前的重点转向了推理模型，因为在同等成本下，推理模型能提供更惊人的能力提升。 2. 推理模型 (Reasoning Models) 是第二次重大飞跃 System 2 思维： 与传统的“快思考”模型不同，推理模型在回答前会生成隐藏的思维链（Chain of Thought）。这种“思考时间”本身就是一种算力的缩放，思考越久，效果越好。 强化学习 (RL) 的关键作用： 现在的训练不仅仅是预测下一个 token，而是通过 RL 对思维过程进行训练。这在数学、代码等结果可验证的领域效果显著，未来的挑战是如何将其推广到所有领域。 3. 模型的局限性与“愚蠢”时刻 能力参差不齐 (Jagged Capabilities)： 模型可能在奥数竞赛中拿金牌，却在数图中的点（比如简单的 5 岁儿童谜题）时失败。这是因为目前的模型在多模态推理和物理世界常识方面仍有欠缺。 多模态是短板： 目前视觉/听觉与语言模型的融合还不够完美，这是未来改进的重点方向。 4. 关于 GPT-5 与未来模型 合成数据 (Synthetic Data)： 随着自然互联网数据的枯竭或质量问题，高质量的合成数据将在下一代模型训练中扮演核心角色。 长上下文与记忆： 为了让模型像人类一样进行长达数周的工程任务，需要解决上下文记忆问题。Kaiser 提到了 "Compaction" (压缩) 技术，即让模型定期总结并遗忘不重要的信息，以腾出“内存”空间 [58:28]。 5. 行业轶事与个人观点 Transformer 的诞生： 作为作者之一，他透露 Transformer 论文的 8 位作者从未在同一个房间里齐聚过。这是不同想法（注意力机制、前馈网络、代码优化等）的偶然碰撞与融合。 机器人技术 (Robotics)： 他认为一旦多模态和通用推理能力成熟，机器人领域将迎来类似 ChatGPT 的爆发时刻，但这可能还需要几年时间。 总结： Lukasz Kaiser 对 AI 的未来非常乐观。他认为我们并未撞墙，只是换了一条更陡峭的增长曲线（推理模型）。未来的模型将不仅仅是“预测下一个词”，而是通过长时间的思考和自我修正来解决复杂的科学与工程问题。