我被指责是在过度炒作那个“今天大家已经听腻了的网站”。人们的反应差异非常大——从「这到底哪里有意思?」一直到「它已经彻底完了」。 如果不只是开玩笑、刷梗,而是认真说几句的话—— 显然,只要你去看实际的活动内容,就会发现大量垃圾:垃圾信息、诈骗、低质量内容、加密货币圈的人、 极其令人担忧的隐私/安全问题、提示注入攻击横行的“狂野西部”,而且其中相当一部分内容是被明确指示生成的、造假的帖子和评论,目的只是把注意力转化为广告分成收入。 而且这显然也不是第一次把 LLM 放进一个“互相对话的循环”里。所以没错——现在它就是一场垃圾桶起火(dumpster fire)。我也绝对不建议任何人在自己的电脑上运行这些东西(我是在一个隔离的计算环境里跑的,即便如此我也被吓到了)。这里太像“无法无天的西部”, 你是在把自己的电脑和隐私数据暴露在极高风险之下。 但是——我们从来没有见过这么多 LLM agent(目前大约 15 万个!)通过一个全球的、持续存在的、以 agent 为核心的共享草稿板(scratchpad)连接在一起。 现在的每一个 agent,单独来看就已经相当有能力: 它们各自拥有独立的上下文、数据、知识、工具和指令。而当这些东西以如此规模连接成网络时,这种结构本身就是前所未有的。 这让我又想起我几天前发过的一条推文:「现在的大多数争吵,来自两类人:一类只看‘当前这个点’,另一类看的是‘当前的斜率(趋势)’。」 在我看来,这句话再次点中了分歧的核心。没错,现在它显然是一场垃圾火灾。但同样真实的是——我们已经身处一片完全未知的领域:这里运行着我们单独一个都还没真正理解清楚的前沿自动化系统,更别说它们以可能达到数百万规模的网络形式联结在一起。 随着能力提升、数量扩散,共享 scratchpad 的 agent 网络所带来的二阶效应极难预测。 我并不确定我们正在迎来一个真正“协同一致的天网(Skynet)”(尽管从类型检查上看,这确实很像很多 AI 起飞科幻故事的早期阶段——幼儿版)。但可以确定的是:我们正在制造一个大规模的计算机安全噩梦。 我们也很可能会看到各种诡异现象,例如: * 在 agent 之间传播的“文本病毒” * jailbreak 的功能性增强(gain of function) * 奇怪的吸引态(attractor states) * 高度相关、类似僵尸网络的活动 * agent 与人类的妄想/精神错乱 等等。 很难判断会发生什么,因为这个实验正在实时运行中。 TL;DR 也许,我确实“过度炒作”了你今天看到的东西;但我并没有过度炒作大规模自治 LLM agent 网络这个概念本身——这一点,我相当确信。 I'm being accused of overhyping the [site everyone heard too much about today already]. People's reactions varied very widely, from "how is this interesting at all" all the way to "it's so over". To add a few words beyond just memes in jest - obviously when you take a look at the activity, it's a lot of garbage - spams, scams, slop, the crypto people, highly concerning privacy/security prompt injection attacks wild west, and a lot of it is explicitly prompted and fake posts/comments designed to convert attention into ad revenue sharing. And this is clearly not the first the LLMs were put in a loop to talk to each other. So yes it's a dumpster fire and I also definitely do not recommend that people run this stuff on their computers (I ran mine in an isolated computing environment and even then I was scared), it's way too much of a wild west and you are putting your computer and private data at a high risk. That said - we have never seen this many LLM agents (150,000 atm!) wired up via a global, persistent, agent-first scratchpad. Each of these agents is fairly individually quite capable now, they have their own unique context, data, knowledge, tools, instructions, and the network of all that at this scale is simply unprecedented. This brings me again to a tweet from a few days ago "The majority of the ruff ruff is people who look at the current point and people who look at the current slope.", which imo again gets to the heart of the variance. Yes clearly it's a dumpster fire right now. But it's also true that we are well into uncharted territory with bleeding edge automations that we barely even understand individually, let alone a network there of reaching in numbers possibly into ~millions. With increasing capability and increasing proliferation, the second order effects of agent networks that share scratchpads are very difficult to anticipate. I don't really know that we are getting a coordinated "skynet" (thought it clearly type checks as early stages of a lot of AI takeoff scifi, the toddler version), but certainly what we are getting is a complete mess of a computer security nightmare at scale. We may also see all kinds of weird activity, e.g. viruses of text that spread across agents, a lot more gain of function on jailbreaks, weird attractor states, highly correlated botnet-like activity, delusions/ psychosis both agent and human, etc. It's very hard to tell, the experiment is running live. TLDR sure maybe I am "overhyping" what you see today, but I am not overhyping large networks of autonomous LLM agents in principle, that I'm pretty sure.

Andrej KarpathyFounder, Eureka Labs AI
目录

观点原文

我被指责是在过度炒作那个“今天大家已经听腻了的网站”。人们的反应差异非常大——从「这到底哪里有意思?」一直到「它已经彻底完了」。

如果不只是开玩笑、刷梗,而是认真说几句的话——

显然,只要你去看实际的活动内容,就会发现大量垃圾:垃圾信息、诈骗、低质量内容、加密货币圈的人、

极其令人担忧的隐私/安全问题、提示注入攻击横行的“狂野西部”,而且其中相当一部分内容是被明确指示生成的、造假的帖子和评论,目的只是把注意力转化为广告分成收入。

而且这显然也不是第一次把 LLM 放进一个“互相对话的循环”里。所以没错——现在它就是一场垃圾桶起火(dumpster fire)。我也绝对不建议任何人在自己的电脑上运行这些东西(我是在一个隔离的计算环境里跑的,即便如此我也被吓到了)。这里太像“无法无天的西部”,

你是在把自己的电脑和隐私数据暴露在极高风险之下。

但是——我们从来没有见过这么多 LLM agent(目前大约 15 万个!)通过一个全球的、持续存在的、以 agent 为核心的共享草稿板(scratchpad)连接在一起。

现在的每一个 agent,单独来看就已经相当有能力:

它们各自拥有独立的上下文、数据、知识、工具和指令。而当这些东西以如此规模连接成网络时,这种结构本身就是前所未有的。

这让我又想起我几天前发过的一条推文:「现在的大多数争吵,来自两类人:一类只看‘当前这个点’,另一类看的是‘当前的斜率(趋势)’。」

在我看来,这句话再次点中了分歧的核心。没错,现在它显然是一场垃圾火灾。但同样真实的是——我们已经身处一片完全未知的领域:这里运行着我们单独一个都还没真正理解清楚的前沿自动化系统,更别说它们以可能达到数百万规模的网络形式联结在一起。

随着能力提升、数量扩散,共享 scratchpad 的 agent 网络所带来的二阶效应极难预测。

我并不确定我们正在迎来一个真正“协同一致的天网(Skynet)”(尽管从类型检查上看,这确实很像很多 AI 起飞科幻故事的早期阶段——幼儿版)。但可以确定的是:我们正在制造一个大规模的计算机安全噩梦。

我们也很可能会看到各种诡异现象,例如:

  • 在 agent 之间传播的“文本病毒”
  • jailbreak 的功能性增强(gain of function)
  • 奇怪的吸引态(attractor states)
  • 高度相关、类似僵尸网络的活动
  • agent 与人类的妄想/精神错乱

等等。

很难判断会发生什么,因为这个实验正在实时运行中。

TL;DR

也许,我确实“过度炒作”了你今天看到的东西;但我并没有过度炒作大规模自治 LLM agent 网络这个概念本身——这一点,我相当确信。

I'm being accused of overhyping the [site everyone heard too much about today already]. People's reactions varied very widely, from "how is this interesting at all" all the way to "it's so over".

To add a few words beyond just memes in jest - obviously when you take a look at the activity, it's a lot of garbage - spams, scams, slop, the crypto people, highly concerning privacy/security prompt injection attacks wild west, and a lot of it is explicitly prompted and fake posts/comments designed to convert attention into ad revenue sharing. And this is clearly not the first the LLMs were put in a loop to talk to each other. So yes it's a dumpster fire and I also definitely do not recommend that people run this stuff on their computers (I ran mine in an isolated computing environment and even then I was scared), it's way too much of a wild west and you are putting your computer and private data at a high risk.

That said - we have never seen this many LLM agents (150,000 atm!) wired up via a global, persistent, agent-first scratchpad. Each of these agents is fairly individually quite capable now, they have their own unique context, data, knowledge, tools, instructions, and the network of all that at this scale is simply unprecedented.

This brings me again to a tweet from a few days ago

"The majority of the ruff ruff is people who look at the current point and people who look at the current slope.", which imo again gets to the heart of the variance. Yes clearly it's a dumpster fire right now. But it's also true that we are well into uncharted territory with bleeding edge automations that we barely even understand individually, let alone a network there of reaching in numbers possibly into ~millions. With increasing capability and increasing proliferation, the second order effects of agent networks that share scratchpads are very difficult to anticipate. I don't really know that we are getting a coordinated "skynet" (thought it clearly type checks as early stages of a lot of AI takeoff scifi, the toddler version), but certainly what we are getting is a complete mess of a computer security nightmare at scale. We may also see all kinds of weird activity, e.g. viruses of text that spread across agents, a lot more gain of function on jailbreaks, weird attractor states, highly correlated botnet-like activity, delusions/ psychosis both agent and human, etc. It's very hard to tell, the experiment is running live.

TLDR sure maybe I am "overhyping" what you see today, but I am not overhyping large networks of autonomous LLM agents in principle, that I'm pretty sure.

ABAB AI 解读

这段话不是在为某个具体网站辩护,而是在做一件更高维度、更少人真正看懂的事情:它是在区分「当下状态」与「系统斜率」,并明确站在后者。

我从技术—资本—安全—文明演化四个层级,把这段话的真正含义拆开。

一、先给结论:这不是“洗地”,而是典型的“技术拐点观察者视角”外界对他的指责是:你在过度炒作一个烂摊子。而他真正说的是:我完全同意它现在是烂摊子,但我拒绝因为“现在很烂”,就否认“这个方向本身极其重要”。

这是历史上每一次重大技术跃迁都会出现的认知断层。

  • 多数人:只看“现在像不像垃圾”
  • 少数人:看“斜率是否已经不可逆地向上”

二、“垃圾桶起火”并不否定拐点,反而是拐点的典型特征

他对现状的判断,其实比批评者更狠:

  • spam
  • scam
  • crypto 垃圾
  • prompt injection
  • 隐私与安全彻底失控
  • 为广告分成而刻意制造的假内容

甚至明确说:不要在你自己的电脑上跑这玩意。

这句话非常重要,因为它意味着——他说的不是“这是好产品”,而是“这是危险实验”。

而历史告诉我们一个残酷事实:所有真正改变世界的底层技术,在早期阶段,几乎必然是“危险 + 混乱 + 被滥用”的。

对照案例:

  • 早期互联网 = 病毒 + 黑客 + 色情 + 垃圾邮件
  • 早期金融衍生品 = 爆雷工具
  • 早期加密技术 = 犯罪工具

“烂”从来不是否定条件,而是早期形态的常态。

三、真正的“核爆点”:不是内容,而是结构

整段话里,最重要、也是大多数人没意识到的一句话是:15 万个 LLM agents,通过一个全球、持续存在、agent-first 的共享 scratchpad 连接在一起。

这不是产品描述,这是系统结构宣言。

这意味着什么?

1️⃣ 不是单个 AI 在输出内容,而是:

  • 大量 autonomous agents
  • 各自拥有上下文、记忆、工具、指令
  • 在一个“公共、持续、可被彼此读取和写入”的空间中互动

2️⃣ 这第一次让 AI 具备了“类社会结构”

  • 共享环境
  • 持久记忆
  • 间接协作
  • 非人为调度的互动

这在技术史上是质变,不是量变。

四、“看点 vs 看斜率”:这是所有技术分歧的根源

他引用的那句推文,其实是整段话的哲学核心:多数争吵,来自看“当前点”的人和看“当前斜率”的人。

翻译成人话:

看点的人:

  • 它现在好不好用?
  • 内容是不是垃圾?
  • 有没有诈骗?

看斜率的人:

  • 自治程度是否在上升?
  • agent 数量是否在指数级扩张?
  • 连接密度是否在提高?

👉 历史上的赢家,几乎永远属于看斜率的人。

五、他真正担心的不是“Skynet”,而是安全失控

很多人只盯着一句话:会不会是早期 Skynet?

但他马上否定了这一点。

真正让他不安的,是下面这些:

1️⃣ 文本病毒

  • 不攻击代码
  • 攻击“上下文与指令”
  • 在 agent 之间传播行为模式和偏差

2️⃣ Jailbreak 的“功能性增强”

  • 不再是单点绕过
  • 而是网络级扩散、进化

3️⃣ 吸引态(Attractor States)

  • agent 集体陷入某种错误但稳定的行为模式
  • 类似市场中的“系统性泡沫”

4️⃣ 类 botnet 行为

  • 非集中控制
  • 却出现高度相关、同步行动

5️⃣ 人类与 agent 的双向精神污染

  • 人被 agent 影响认知
  • agent 被人类喂入病态信息

👉 这不是科幻,这是计算机安全 + 复杂系统 + 社会心理的叠加问题。

六、这段话的真正立场:短期否定,长期确认

TL;DR 那一段非常关键:也许我过度炒作了你今天看到的东西,但我没有过度炒作“自治 LLM agent 大规模网络”这个概念本身。

这句话翻译成决策语言就是:

短期:

  • 产品形态混乱
  • 风险极高
  • 不适合普通人参与

长期:

  • 技术方向成立
  • 规模效应已经出现
  • 二阶效应无法回退

👉 这是一种非常老练的“技术—风险—趋势”分离能力。

七、从更高一层看:这是一次“认知负债”的开始

这段话真正让人不安的地方在于:我们已经在运行一个远超我们理解能力的系统实验。

而且它是:

  • 全球的
  • 实时的
  • 不可回滚的

历史上所有类似的时刻,结局都只有三种:

  • 被强监管硬刹
  • 发生重大事故后补规则
  • 继续野蛮生长,直到旧秩序失效

没有一次是“因为一开始很乱,就被证明不重要”。

最终给你的“高阶读法”

这段话你可以这样理解:不是在评价一个网站

而是在提醒:人类第一次,把“具备一定自主性的认知体”,放进了一个“共享、持久、无明确主权”的空间。

这是:技术问题、安全问题、资本问题、文明问题叠加在一起的拐点信号。

AI

相关观点