随着 AI 模型能力的持续进步,我们很快会进入这样一个阶段:当一个 AI agent 在一个规模合理的任务中“没把事情做好”时,几乎总能追溯到一个原因——它缺少完成任务所需的正确信息。 这正是为什么“上下文工程(context engineering)”会成为未来的关键。本质上,你是在反向推导:一个极其聪明的人要完成某个具体任务,到底需要哪些信息。 但这里有一个前提限制:这个超级聪明的人,几乎精通所有领域——今天是财富 500 强公司的律师,明天是初创公司的工程师。 然而,他在不同任务之间会忘记之前做过的事,而且一次只能专注处理一件中等规模的事情。这是个非常有意思、也非常棘手的设定。 这意味着:他需要大量上下文信息,但又不能多到把自己搞糊涂,并且这些信息必须清楚说明: * 正在做什么 * 为什么要这么做 于是,真正的工作就变成了:构建一个系统,或一组系统,能够尽可能高效、快速地把这些数据送到模型面前。 这也是为什么大量时间将被投入到: * 搜索与检索系统 * 信息排序的启发式规则 * 系统提示(system prompts) * 跟踪已完成工作的机制,用来节省上下文窗口空间 等等。 有一个很酷的地方在于:和人类不同,这个 agent 可以同时处理规模大得多的数据量,因此你可以对问题施加远超人类可承受范围的算力,而且这在这里是“有意义的”。 这是一个非常、非常适合构建 agent 的时代。 We will soon get to a point, as AI model progress continues, that almost any time something doesn’t work with an AI agent in a reasonably sized task, you will be able to point to a lack of the right information that the agent had access to. This is why context engineering is the future. Basically you’re reverse engineering what an insanely smart human, would need to perform a particular task. The caveat is this super smart person is an expert at almost any type of field of work, but one day they’re a lawyer at a Fortune 500 and the next day they’re an engineer at a startup. And they forget what they did between each task. And they can only keep track of one medium-sized thing at a time. Super fun challenge. This means they need a ton of context - but not too much to get confused - about what they’re doing and why. So the job then is to try and build the system or set of systems necessary to deliver that data to the model as efficiently and quickly as possible. This is why so much time is just going to straight into search and retrieval systems, heuristics for ranking information, system prompts, ways of keeping track of the work that’s being done to save context window space, and so on. One cool thing, though, is that unlike a person, this agent can process vastly more data at once, so all of a sudden you can apply more compute to the problem than would otherwise be helpful with people. An insanely fun time right now to be building agents.

Aaron LevieCo-founder & CEO of Box

观点原文

随着 AI 模型能力的持续进步,我们很快会进入这样一个阶段:当一个 AI agent 在一个规模合理的任务中“没把事情做好”时,几乎总能追溯到一个原因——它缺少完成任务所需的正确信息。

这正是为什么“上下文工程(context engineering)”会成为未来的关键。本质上,你是在反向推导:一个极其聪明的人要完成某个具体任务,到底需要哪些信息。

但这里有一个前提限制:这个超级聪明的人,几乎精通所有领域——今天是财富 500 强公司的律师,明天是初创公司的工程师。

然而,他在不同任务之间会忘记之前做过的事,而且一次只能专注处理一件中等规模的事情。这是个非常有意思、也非常棘手的设定。

这意味着:他需要大量上下文信息,但又不能多到把自己搞糊涂,并且这些信息必须清楚说明:

  • 正在做什么
  • 为什么要这么做

于是,真正的工作就变成了:构建一个系统,或一组系统,能够尽可能高效、快速地把这些数据送到模型面前。

这也是为什么大量时间将被投入到:

  • 搜索与检索系统
  • 信息排序的启发式规则
  • 系统提示(system prompts)
  • 跟踪已完成工作的机制,用来节省上下文窗口空间

等等。

有一个很酷的地方在于:和人类不同,这个 agent 可以同时处理规模大得多的数据量,因此你可以对问题施加远超人类可承受范围的算力,而且这在这里是“有意义的”。

这是一个非常、非常适合构建 agent 的时代。

We will soon get to a point, as AI model progress continues, that almost any time something doesn’t work with an AI agent in a reasonably sized task, you will be able to point to a lack of the right information that the agent had access to.

This is why context engineering is the future. Basically you’re reverse engineering what an insanely smart human, would need to perform a particular task.

The caveat is this super smart person is an expert at almost any type of field of work, but one day they’re a lawyer at a Fortune 500 and the next day they’re an engineer at a startup. And they forget what they did between each task. And they can only keep track of one medium-sized thing at a time. Super fun challenge.

This means they need a ton of context - but not too much to get confused - about what they’re doing and why. So the job then is to try and build the system or set of systems necessary to deliver that data to the model as efficiently and quickly as possible.

This is why so much time is just going to straight into search and retrieval systems, heuristics for ranking information, system prompts, ways of keeping track of the work that’s being done to save context window space, and so on. One cool thing, though, is that unlike a person, this agent can process vastly more data at once, so all of a sudden you can apply more compute to the problem than would otherwise be helpful with people.

An insanely fun time right now to be building agents.

ABAB AI 解读

1️⃣ 核心判断:失败不再来自“不够聪明”

作者认为:

  • 未来 AI agent 出错
  • 很少是模型能力问题
  • 更多是:它没拿到该拿到的信息

2️⃣ “Context Engineering”被抬到核心位置

重点不再是:

  • 模型多大
  • 参数多少

而是:

  • 给它什么信息
  • 什么时候给
  • 给多少

3️⃣ AI agent 被类比成“极聪明但健忘的人”

能力:几乎什么领域都懂

缺陷:

  • 任务切换就忘
  • 同时只能抓一件中等复杂的事
  • 所以问题不是智力
  • 而是记忆与上下文管理

4️⃣ 关键难点在“量的平衡”

上下文太少 → 做不对

上下文太多 → 被干扰、混乱

真正的工程难题是:恰到好处地喂信息

5️⃣ 为什么搜索和检索突然变得重要

因为模型本身:不负责长期记忆

系统必须:

  • 找到最相关的信息
  • 排序
  • 压缩
  • 在有限窗口内呈现

6️⃣ 这不是 Prompt 技巧,而是系统工程

包括:

  • 检索系统
  • 排名策略
  • 状态跟踪
  • 上下文压缩
  • Prompt 只是冰山一角

7️⃣ AI 相对人的真正优势

它可以:同时处理远超人类的数据量

所以:给它更多算力是有意义的,信息密度可以更高

8️⃣ 最后一句的潜台词

Agent 的上限:不取决于模型

而取决于:谁能把“信息流”设计得最好

9️⃣ 一句话总结

未来 AI agent 的竞争,本质上是“谁更会喂信息”,而不是“谁更聪明”。

AI

相关观点