分享一段最近关于 AI 对经济影响的有趣讨论。 AI 常被拿来与历史上的各种先例相比：电力、工业革命等等。但我认为最有力的类比，是把 AI 视为一种新的计算范式（Software 2.0），因为两者本质上都是在自动化数字信息处理。 如果你在 1980 年代预测计算机对就业市场的影响，最关键的判断指标是：某个任务/工作里的“算法”是否固定。也就是说，它是否只是按照机械、易于明确描述的规则来处理信息（例如打字、记账、人工计算等）。在那个时代，这种类型的任务恰好就是计算机能力允许我们“手写程序”自动化的部分。 如今随着 AI 的出现，我们能够“写出”以前根本无法通过手写代码实现的程序。我们通过设定目标（例如分类准确率、奖励函数），然后通过梯度下降在“程序空间”中搜索，使神经网络在这些目标上表现良好。这就是我之前写的 Software 2.0 博文所讲的内容。 在这种新的编程范式下，最具预测性的指标变成了 可验证性（verifiability）。如果一个任务/工作能够被验证，那么它就可以被直接优化，或通过强化学习优化，神经网络可以被训练得非常好。关键在于 AI 能否“练习”这个任务。为此，环境必须能够重置（可以重新尝试）、高效（可以进行大量尝试），并且能够奖励（要有自动化的方式对每次尝试给予反馈）。 一个任务/工作越 可验证，它就越容易在新的编程范式中被自动化。如果它不可验证，那就只能依赖神经网络的泛化魔法（祈祷好运），或依靠模仿等更弱的方式。这也正是推动 LLM 发展呈现“锯齿状前沿”现象的原因。 那些 可验证的任务 进展迅速，甚至可能超过顶尖专家（例如数学、代码、长视频分析、任何有明确正确答案的谜题类任务）。而其他任务则落后许多（创造性、策略性、需要结合现实世界知识、状态、上下文与常识的任务）。 总结如下： Software 1.0：轻松自动化你能够“明确描述”的任务。 Software 2.0：轻松自动化你能够“验证结果”的任务。 Sharing an interesting recent conversation on AI's impact on the economy. AI has been compared to various historical precedents: electricity, industrial revolution, etc., I think the strongest analogy is that of AI as a new computing paradigm (Software 2.0) because both are fundamentally about the automation of digital information processing. If you were to forecast the impact of computing on the job market in ~1980s, the most predictive feature of a task/job you'd look at is to what extent the algorithm of it is fixed, i.e. are you just mechanically transforming information according to rote, easy to specify rules (e.g. typing, bookkeeping, human calculators, etc.)? Back then, this was the class of programs that the computing capability of that era allowed us to write (by hand, manually). With AI now, we are able to write new programs that we could never hope to write by hand before. We do it by specifying objectives (e.g. classification accuracy, reward functions), and we search the program space via gradient descent to find neural networks that work well against that objective. This is my Software 2.0 blog post from a while ago. In this new programming paradigm then, the new most predictive feature to look at is verifiability. If a task/job is verifiable, then it is optimizable directly or via reinforcement learning, and a neural net can be trained to work extremely well. It's about to what extent an AI can "practice" something. The environment has to be resettable (you can start a new attempt), efficient (a lot attempts can be made), and rewardable (there is some automated process to reward any specific attempt that was made). The more a task/job is verifiable, the more amenable it is to automation in the new programming paradigm. If it is not verifiable, it has to fall out from neural net magic of generalization fingers crossed, or via weaker means like imitation. This is what's driving the "jagged" frontier of progress in LLMs. Tasks that are verifiable progress rapidly, including possibly beyond the ability of top experts (e.g. math, code, amount of time spent watching videos, anything that looks like puzzles with correct answers), while many others lag by comparison (creative, strategic, tasks that combine real-world knowledge, state, context and common sense). Software 1.0 easily automates what you can specify. Software 2.0 easily automates what you can verify.
Andrej KarpathyFounder, Eureka Labs AI
观点原文
分享一段最近关于 AI 对经济影响的有趣讨论。
AI 常被拿来与历史上的各种先例相比：电力、工业革命等等。但我认为最有力的类比，是把 AI 视为一种新的计算范式（Software 2.0），因为两者本质上都是在自动化数字信息处理。
如果你在 1980 年代预测计算机对就业市场的影响，最关键的判断指标是：某个任务/工作里的“算法”是否固定。也就是说，它是否只是按照机械、易于明确描述的规则来处理信息（例如打字、记账、人工计算等）。在那个时代，这种类型的任务恰好就是计算机能力允许我们“手写程序”自动化的部分。
如今随着 AI 的出现，我们能够“写出”以前根本无法通过手写代码实现的程序。我们通过设定目标（例如分类准确率、奖励函数），然后通过梯度下降在“程序空间”中搜索，使神经网络在这些目标上表现良好。这就是我之前写的 Software 2.0 博文所讲的内容。
在这种新的编程范式下，最具预测性的指标变成了 可验证性（verifiability）。如果一个任务/工作能够被验证，那么它就可以被直接优化，或通过强化学习优化，神经网络可以被训练得非常好。关键在于 AI 能否“练习”这个任务。为此，环境必须能够重置（可以重新尝试）、高效（可以进行大量尝试），并且能够奖励（要有自动化的方式对每次尝试给予反馈）。
一个任务/工作越 可验证，它就越容易在新的编程范式中被自动化。如果它不可验证，那就只能依赖神经网络的泛化魔法（祈祷好运），或依靠模仿等更弱的方式。这也正是推动 LLM 发展呈现“锯齿状前沿”现象的原因。
那些 可验证的任务 进展迅速，甚至可能超过顶尖专家（例如数学、代码、长视频分析、任何有明确正确答案的谜题类任务）。而其他任务则落后许多（创造性、策略性、需要结合现实世界知识、状态、上下文与常识的任务）。
总结如下：
Software 1.0：轻松自动化你能够“明确描述”的任务。
Software 2.0：轻松自动化你能够“验证结果”的任务。
Sharing an interesting recent conversation on AI's impact on the economy.
AI has been compared to various historical precedents: electricity, industrial revolution, etc., I think the strongest analogy is that of AI as a new computing paradigm (Software 2.0) because both are fundamentally about the automation of digital information processing.
If you were to forecast the impact of computing on the job market in ~1980s, the most predictive feature of a task/job you'd look at is to what extent the algorithm of it is fixed, i.e. are you just mechanically transforming information according to rote, easy to specify rules (e.g. typing, bookkeeping, human calculators, etc.)? Back then, this was the class of programs that the computing capability of that era allowed us to write (by hand, manually).
With AI now, we are able to write new programs that we could never hope to write by hand before. We do it by specifying objectives (e.g. classification accuracy, reward functions), and we search the program space via gradient descent to find neural networks that work well against that objective. This is my Software 2.0 blog post from a while ago. In this new programming paradigm then, the new most predictive feature to look at is verifiability. If a task/job is verifiable, then it is optimizable directly or via reinforcement learning, and a neural net can be trained to work extremely well. It's about to what extent an AI can "practice" something. The environment has to be resettable (you can start a new attempt), efficient (a lot attempts can be made), and rewardable (there is some automated process to reward any specific attempt that was made).
The more a task/job is verifiable, the more amenable it is to automation in the new programming paradigm. If it is not verifiable, it has to fall out from neural net magic of generalization fingers crossed, or via weaker means like imitation. This is what's driving the "jagged" frontier of progress in LLMs. Tasks that are verifiable progress rapidly, including possibly beyond the ability of top experts (e.g. math, code, amount of time spent watching videos, anything that looks like puzzles with correct answers), while many others lag by comparison (creative, strategic, tasks that combine real-world knowledge, state, context and common sense).
Software 1.0 easily automates what you can specify.
Software 2.0 easily automates what you can verify.
AI
相关观点
- 我被指责是在过度炒作那个“今天大家已经听腻了的网站”。人们的反应差异非常大——从「这到底哪里有意思？」一直到「它已经彻底完了」。 如果不只是开玩笑、刷梗，而是认真说几句的话—— 显然，只要你去看实际的活动内容，就会发现大量垃圾：垃圾信息、诈骗、低质量内容、加密货币圈的人、 极其令人担忧的隐私/安全问题、提示注入攻击横行的“狂野西部”，而且其中相当一部分内容是被明确指示生成的、造假的帖子和评论，目的只是把注意力转化为广告分成收入。 而且这显然也不是第一次把 LLM 放进一个“互相对话的循环”里。所以没错——现在它就是一场垃圾桶起火（dumpster fire）。我也绝对不建议任何人在自己的电脑上运行这些东西（我是在一个隔离的计算环境里跑的，即便如此我也被吓到了）。这里太像“无法无天的西部”， 你是在把自己的电脑和隐私数据暴露在极高风险之下。 但是——我们从来没有见过这么多 LLM agent（目前大约 15 万个！）通过一个全球的、持续存在的、以 agent 为核心的共享草稿板（scratchpad）连接在一起。 现在的每一个 agent，单独来看就已经相当有能力： 它们各自拥有独立的上下文、数据、知识、工具和指令。而当这些东西以如此规模连接成网络时，这种结构本身就是前所未有的。 这让我又想起我几天前发过的一条推文：「现在的大多数争吵，来自两类人：一类只看‘当前这个点’，另一类看的是‘当前的斜率（趋势）’。」 在我看来，这句话再次点中了分歧的核心。没错，现在它显然是一场垃圾火灾。但同样真实的是——我们已经身处一片完全未知的领域：这里运行着我们单独一个都还没真正理解清楚的前沿自动化系统，更别说它们以可能达到数百万规模的网络形式联结在一起。 随着能力提升、数量扩散，共享 scratchpad 的 agent 网络所带来的二阶效应极难预测。 我并不确定我们正在迎来一个真正“协同一致的天网（Skynet）”（尽管从类型检查上看，这确实很像很多 AI 起飞科幻故事的早期阶段——幼儿版）。但可以确定的是：我们正在制造一个大规模的计算机安全噩梦。 我们也很可能会看到各种诡异现象，例如： * 在 agent 之间传播的“文本病毒” * jailbreak 的功能性增强（gain of function） * 奇怪的吸引态（attractor states） * 高度相关、类似僵尸网络的活动 * agent 与人类的妄想/精神错乱 等等。 很难判断会发生什么，因为这个实验正在实时运行中。 TL;DR 也许，我确实“过度炒作”了你今天看到的东西；但我并没有过度炒作大规模自治 LLM agent 网络这个概念本身——这一点，我相当确信。 I'm being accused of overhyping the [site everyone heard too much about today already]. People's reactions varied very widely, from "how is this interesting at all" all the way to "it's so over". To add a few words beyond just memes in jest - obviously when you take a look at the activity, it's a lot of garbage - spams, scams, slop, the crypto people, highly concerning privacy/security prompt injection attacks wild west, and a lot of it is explicitly prompted and fake posts/comments designed to convert attention into ad revenue sharing. And this is clearly not the first the LLMs were put in a loop to talk to each other. So yes it's a dumpster fire and I also definitely do not recommend that people run this stuff on their computers (I ran mine in an isolated computing environment and even then I was scared), it's way too much of a wild west and you are putting your computer and private data at a high risk. That said - we have never seen this many LLM agents (150,000 atm!) wired up via a global, persistent, agent-first scratchpad. Each of these agents is fairly individually quite capable now, they have their own unique context, data, knowledge, tools, instructions, and the network of all that at this scale is simply unprecedented. This brings me again to a tweet from a few days ago "The majority of the ruff ruff is people who look at the current point and people who look at the current slope.", which imo again gets to the heart of the variance. Yes clearly it's a dumpster fire right now. But it's also true that we are well into uncharted territory with bleeding edge automations that we barely even understand individually, let alone a network there of reaching in numbers possibly into ~millions. With increasing capability and increasing proliferation, the second order effects of agent networks that share scratchpads are very difficult to anticipate. I don't really know that we are getting a coordinated "skynet" (thought it clearly type checks as early stages of a lot of AI takeoff scifi, the toddler version), but certainly what we are getting is a complete mess of a computer security nightmare at scale. We may also see all kinds of weird activity, e.g. viruses of text that spread across agents, a lot more gain of function on jailbreaks, weird attractor states, highly correlated botnet-like activity, delusions/ psychosis both agent and human, etc. It's very hard to tell, the experiment is running live. TLDR sure maybe I am "overhyping" what you see today, but I am not overhyping large networks of autonomous LLM agents in principle, that I'm pretty sure.Andrej Karpathy · 2026/01/31
- 我受这个启发，想看看 Claude Code 能不能接入我家的 Lutron 智能家居系统。 它在本地 Wi-Fi 网络里找到了我的 Lutron 控制器 扫描了开放端口，成功连接，获取了一些元数据，并识别出了设备型号和固件版本 上网搜索，找到了我这套系统的 PDF 说明书 指导我按哪个按钮来配对并获取证书 成功接入系统，发现了家里所有设备（灯光、窗帘、HVAC 温控、人体感应器等等） 还把我厨房的灯开了又关，用来验证一切是否正常（哈哈） 现在我正在 vibe coding 一个家庭自动化的“主控指挥中心”，潜力简直 🔥。而且我要把之前一直在用的、又烂又卡又慢的 Lutron iOS App 直接扔掉了。爽到不行 :D :D I was inspired by this so I wanted to see if Claude Code can get into my Lutron home automation system. - it found my Lutron controllers on the local wifi network - checked for open ports, connected, got some metadata and identified the devices and their firmware - searched the internet, found the pdf for my system - instructed me on what button to press to pair and get the certificates - it connected to the system and found all the home devices (lights, shades, HVAC temperature control, motion sensors etc.) - it turned on and off my kitchen lights to check that things are working (lol!) I am now vibe coding the home automation master command center, the potential is 🔥.And I'm throwing away the crappy, janky, slow Lutron iOS app I've been using so far. Insanely fun :D :DAndrej Karpathy · 2026/01/03
- 作为一名程序员，我从未像现在这样感到自己被甩在后面。这个职业正在经历一场剧烈的重构——程序员真正亲手写下的代码片段正变得越来越稀疏、越来越零散。 我有一种强烈的感觉：如果我能把过去大约一年里已经出现的这些工具和能力真正串联起来，我的生产力完全可以提升 10 倍；而如果没能拿到这波增益，感觉就非常像是纯粹的技能问题。 现在出现了一个全新的、可编程的抽象层需要掌握（而且是在原有所有层之上）：涉及智能体（agents）、子智能体、它们的提示词（prompts）、上下文、记忆、模式、权限、工具、插件、技能、钩子（hooks）、MCP、LSP、斜杠命令、工作流、IDE 集成…… 同时，你还必须建立一个包罗万象的心智模型，去理解这些本质上随机、易出错、不可解释、持续变化的实体的优势与陷阱——而它们突然与过去那套“传统而稳定的软件工程”混杂在了一起。 这感觉就像是：某个强大的外星工具被突然分发给了所有人，却没有任何使用说明书。每个人都得自己摸索该如何握住它、如何操作它；而与此同时，一场 9 级地震正在猛烈地撼动整个行业。 不撸起袖子狠狠干，就真的会被甩在后面。 I've never felt this much behind as a programmer. The profession is being dramatically refactored as the bits contributed by the programmer are increasingly sparse and between. I have a sense that I could be 10X more powerful if I just properly string together what has become available over the last ~year and a failure to claim the boost feels decidedly like skill issue. There's a new programmable layer of abstraction to master (in addition to the usual layers below) involving agents, subagents, their prompts, contexts, memory, modes, permissions, tools, plugins, skills, hooks, MCP, LSP, slash commands, workflows, IDE integrations, and a need to build an all-encompassing mental model for strengths and pitfalls of fundamentally stochastic, fallible, unintelligible and changing entities suddenly intermingled with what used to be good old fashioned engineering. Clearly some powerful alien tool was handed around except it comes with no manual and everyone has to figure out how to hold it and operate it, while the resulting magnitude 9 earthquake is rocking the profession. Roll up your sleeves to not fall behind.Andrej Karpathy · 2025/12/27
- 《2025 年大语言模型（LLM）年度回顾》 2025 年是大模型（LLMs）取得显著进展、同时也充满事件的一年。 下面列出的是一些在我个人看来非常重要、并且略带意外的“范式转变”——这些变化在概念层面上重塑了整个领域的格局。 1. 可验证奖励强化学习（RLVR） 在 2025 年初，各大实验室用于生产级 LLM 的训练流水线基本长这样： 预训练（Pretraining，类似 2020 年的 GPT-2 / GPT-3） 监督微调（Supervised Finetuning，SFT，例如 2022 年的 InstructGPT） 基于人类反馈的强化学习（RLHF，约 2022 年） 这套流程在相当长一段时间里都是稳定、成熟、被验证有效的配方。 但在 2025 年，可验证奖励强化学习（Reinforcement Learning from Verifiable Rewards，RLVR） 出现了，并迅速成为事实上的新核心阶段。 RLVR 的核心做法是： 让 LLM 在多个奖励可以被自动验证的环境中进行强化学习（例如数学题、代码题等）。在这个过程中，模型会自发地发展出在人类看来像“推理”的策略——它们学会把问题拆解为中间计算步骤，也学会在不同思路之间来回切换来求解问题（可以参考 DeepSeek R1 论文中的示例）。 这些能力在此前的范式下是极难获得的，因为： * 我们并不知道“最优的推理轨迹”应该长什么样 * 也不知道模型在出错后应当如何“恢复推理” 因此，模型必须通过对奖励函数的优化自己摸索出有效策略。 与 SFT 和 RLHF（在计算层面都相对“薄”、训练时间较短）不同，RLVR 是围绕客观、不可投机的奖励函数进行训练的，这使得更长时间的优化成为可能。 事实证明，RLVR 的 能力提升 / 成本比极高，以至于它“吃掉”了原本计划用于预训练的大量算力。因此，2025 年的大多数能力提升并不是来自更大的模型，而是来自：规模相近的模型、更长时间的 RL 训练 此外，RLVR 还带来了一个全新的能力控制旋钮（以及相应的 scaling law）：我们可以通过在测试阶段生成更长的推理轨迹、增加“思考时间”，来按需提升模型能力。 OpenAI 的 o1（2024 年末） 是第一个 RLVR 模型的演示；而 o3（2025 年初） 则是一个明显的拐点——你能直观地“感觉到差异”。 2. 幽灵 vs 动物 / 锯齿状智能（Jagged Intelligence） 2025 年是我（以及我认为整个行业）第一次开始直观理解 LLM 智能“形状”的一年。 我们不是在“进化或培育动物”， 我们是在“召唤幽灵（ghosts）”。 LLM 的一切都与人类不同： * 神经架构 * 训练数据 * 训练算法 * 尤其是优化压力 因此，出现一种完全不同类型的智能体并不奇怪，用“动物”的视角去理解它们反而是错误的。 从监督信号的角度看：人类大脑是为了在丛林中维持部落生存而优化的 LLM 的神经网络则是为了： * 模仿人类文本 * 在数学题中获取奖励 * 在 LM Arena 上获得人类点赞 当某些领域具备可验证性、可以进行 RLVR 时，LLM 在这些领域附近的能力会陡然飙升，整体上呈现出一种极其锯齿化的能力分布： * 一方面，它像是天才型通才 * 另一方面，它又像一个困惑、认知受限的小学生 甚至可能在几秒钟内被一次 jailbreak 骗走你的数据 （原文提到的梗图： 人类智能 = 蓝色；AI 智能 = 红色。 人类智能本身其实也很“锯齿”，只是形态不同。） 与此相关的，是我在 2025 年对基准测试（benchmarks）的普遍冷感和信任流失。 核心问题在于：基准测试本质上几乎都是可验证环境，因而极易被 RLVR 或弱化形式（如合成数据）直接“吃掉” 在常见的“刷榜”过程中，LLM 实验室往往会：构造与 benchmark 所占 embedding 空间“邻近”的训练环境，并人为长出一堆“锯齿”去覆盖它们，在测试集上训练，已经成了一门新艺术。 问题是：如果你能碾压所有 benchmark，却仍然没有 AGI，那这意味着什么？（作者在此部分推荐了自己写的几篇延伸文章：Animals vs. Ghosts、Verifiability、The Space of Minds） 3. Cursor / 新一层 LLM 应用 Cursor 的真正意义（除了今年的爆炸式增长）在于： 它清晰地揭示了一种新的 LLM 应用层。 人们开始说：“Cursor for X”。 正如我今年在 Y Combinator 演讲中提到的，像 Cursor 这样的 LLM 应用，本质上是在为特定垂直领域打包并编排 LLM 调用： * 负责上下文工程（context engineering） * 在后台组织多个 LLM 调用，形成越来越复杂的 DAG * 在性能与成本之间进行精细平衡 * 提供领域特定的人机交互界面 * 提供“自主程度滑块（autonomy slider）” 2025 年关于这个新应用层“有多厚”的讨论很多：是大模型实验室会吃掉一切应用，还是 LLM 应用本身仍有广阔空间？ 我个人的看法是：LLM 实验室会训练出“通用能力的大学生” 而 LLM 应用会负责： * 组织这些能力 * 微调它们 * 通过私有数据、传感器、执行器和反馈回路 * 把它们“动画化”为特定领域的专业团队 4. Claude Code / 住在你电脑里的 AI Claude Code（CC）是第一个真正说服我什么是 LLM Agent 的产品。 它以一种循环方式把： * 工具调用 * 推理过程 * 长时间任务解决串联在一起。 更重要的是：它运行在你的电脑上，使用你的本地环境、数据和上下文。 我认为 OpenAI 在这点上判断失误了——他们把 agent 放在云端容器中，通过 ChatGPT 调度，而不是 localhost。 在一个能力锯齿、起飞缓慢的世界里，让 agent 直接在开发者电脑上运行、与具体工作流并肩协作，反而是更合理的路径。 Claude Code 把这种理念做成了一个极简而有力的 CLI 形态，彻底改变了 AI 的“存在方式”：它不再只是一个像 Google 一样的网站，而是一个住在你电脑里的小幽灵 / 精灵。 5. Vibe Coding（氛围编程） 2025 年是 AI 跨过一个关键门槛的一年：只用自然语言就能构建复杂程序，而几乎忘记代码本身的存在。 我当初随口发推创造了“vibe coding”这个词，完全没想到它会传播这么广。 Vibe coding 的意义在于： * 编程不再只属于高度专业化的人 * 任何人都可以编程 这也再次验证了我在《Power to the people》中写过的观点：与以往技术不同，LLM 对普通人的赋能甚至超过了专业人士。 但更重要的是：它也让专业开发者能写出大量本来根本不会被写出来的软件 举例： 我在 nanochat 中，用 vibe coding 写了一个 Rust 的高效 BPE tokenizer 我做了很多“只为了存在而存在”的 demo 项目 甚至为了定位一个 bug，直接 vibe coding 一个一次性 app 代码变得免费、短暂、可塑、可随时丢弃。 这会彻底改变软件与岗位的形态。 6. Nano Banana / LLM GUI Google Gemini 的 Nano Banana 是 2025 年最具范式意义的模型之一。 在我的世界观里：LLM 是类似 1970–80 年代计算机的新计算范式。因此会出现类似的创新路径 在 UI/UX 层面：“聊天” LLM 就像 80 年代敲命令行 文本对计算机友好，但对人类并不友好 人类偏好： * 图像 * 空间 * 视觉结构 因此，LLM 应该：用图片、信息图、幻灯片、白板、动画、网页应用等方式与我们交流 Nano Banana 是一个早期信号：它展示的不是单纯的图像生成，而是文本、图像、世界知识在同一模型权重中的纠缠能力。 TL;DR（总结） 2025 年是 LLM 令人兴奋、也略带意外的一年。 LLM 正在成为一种新的智能形态： * 比我预期的聪明 * 也比我预期的笨 但无论如何，它们极其有用。而且我认为，行业至今可能连 10% 的潜力都还没发挥出来。 这个领域依然极其开放，充满可以尝试的想法。 正如我今年在 Dwarkesh 播客中所说：我们既会看到持续而快速的进步，也还有大量基础工作要做。 系好安全带。Andrej Karpathy · 2025/12/21