返回快讯

社区复现OpenAI前首席科学家Ilya Sutskever给Carmack的30篇AI论文清单

OpenAI前首席科学家Ilya Sutskever曾向传奇程序员John Carmack提供约30篇AI核心论文清单,并称若真正掌握这些内容,即可了解当时AI领域90%的关键知识。

该清单源于Carmack在转向AI研究时向Sutskever求取阅读建议,Sutskever回应以约40篇论文并作出上述评价;原始完整清单据称已不可考,社区根据多方回忆与公开讨论重构了包含RNN、LSTM、AlexNet、ResNet、注意力机制、缩放定律等内容的版本。

多个开源项目已将清单论文转化为可运行代码实现,例如30u30项目以“30天30篇论文覆盖90% AI”为口号,提供从零实现的多头注意力、残差连接、字符级RNN、变分自编码器等,并配套笔记、可视化与练习;部分实现仅使用NumPy以强调底层原理。

覆盖内容包括《Attention Is All You Need》的序列到序列与注意力、ResNet的x + F(x)残差结构使百层网络可训练、Scaling Laws对算力与性能关系的数学描述、LSTM门控机制以及MDL与压缩即智能等理论;项目强调框架更迭迅速而底层数学与架构长期稳定。

Carmack在访谈中确认曾获取并研读该清单,社区项目累计数千行代码实现与多国用户参与;相关实现已在GitHub等平台公开,允许直接运行与扩展。

此现象属于知识结构化驱动的教育资源供给,开发者将口头推荐清单转化为可执行代码与系统课程,注意力从工具追逐转向基础论文复现;受益方为希望系统掌握AI底层原理的工程师,承压方为仅依赖最新框架与提示词的表层学习路径。

来源:公开信息

ABAB AI 解读

Ilya Sutskever在2019-2020年间向John Carmack提供阅读清单,后者在访谈中确认研读后对AI形成系统理解;社区随后将这一“神秘清单”重构并开源实现,路径显示从顶尖研究者私下推荐到公开可执行课程的转化,覆盖从RNN/LSTM到Transformer与缩放定律的核心演进。

资源主要投向从零代码复现与配套笔记,而非商业课程或框架封装;动机在于验证“掌握30篇论文即可覆盖90%关键内容”的主张,并通过可运行实现降低理论到实践的门槛,使学习者直接接触残差、注意力、门控等长期稳定的架构原理。

类似路径可见于CS231n课程笔记与The Annotated Transformer等经典公开资源,以及多人对Karpathy博客与Olah LSTM可视化的复现;当前处于AI基础教材从论文与博客向系统化开源实现扩展的阶段,社区试图对抗工具快速迭代带来的知识碎片化。

本质属于技术替代与产业链重构:当上层框架与模型迭代周期缩短至数月时,底层数学与架构原理成为长期不变的知识壁垒;通过将核心论文转化为可执行代码,知识获取从“阅读摘要”转向“动手复现”,从而改变工程师对AI能力的掌握路径与依赖结构。

ABAB News · 认知定律

  1. 底层架构比上层框架更耐久

  2. 可运行实现比论文摘要更能固化理解

  3. 90%关键知识集中在少数基础结构中