ABAB News Logo

是的，变化确实非常快，但我也看到很多公司（甚至包括 FAANG）在没有任何正当理由的情况下，远远落后于技术前沿。 一旦落后，你几乎注定会输。 下面是“不犯非受迫性失误的 AI 领导者作战手册”： 对你的团队： 使用编程 Agent。给所有工程师自由选择工具和模型的权利：Claude Code、Cursor、Devin，支持闭源/开源模型。听说 Meta 的工程师被强制使用 Llama 4。Opus 4.5 现在应该是基线。 给 Agent 接入所有开发工具。Linear、GitHub、Datadog、Sentry，以及任何内部工具。如果 Agent 因为缺乏上下文被限制，那是你的责任。 为你的代码库投资专用的 Agent 文档。别再说“它不擅长做 X”。如果有问题，就改进提示、agents.md、lint 规则和代码规范。告诉它你希望事情怎么做。你每一次手动修改代码，都是一次改进 agent.md 的机会。 投入强大的后台 Agent 基础设施。在 VM / 沙盒上跑完整的开发栈。是的，搭建很难，但绝对值得——工程师可以并行跑多个 Agent。很快，代码审查会成为瓶颈。 解决安全问题。别再过度保守，为了解锁工具访问，该做的就做。 在你的产品中： 始终使用最新一代模型。 尽快从上一代模型迁移，除非有严格评测证明不该换。 这意味着每 1–2 周就要更新一次。例如：GitHub Copilot Mobile 仍在用 GPT-4.1 和 Sonnet 3.5 做代码审查（@jaredpalmer）。如果你还在用 Sonnet 4 或 GPT-4o，你正在白白丢钱。 用向量嵌入语义搜索，替代模糊搜索。 任何通用 embedding 模型，都会比 Levenshtein / 模糊匹配启发式算法更好。 不要留下任何空表单。 使用结构化输出，并结合你已有的用户上下文，尽最大努力自动预填。 在所有产品界面支持非结构化输入。 必须接受自由文本和文档输入。表单已经过时了。 自定义微调已经死了。 别再浪费时间。前沿发展太快，不值得花 8 周做微调。 成本下降太快，价格已经不重要。更好的提示工程能带你走很远，而且随着指令遵循能力提升，这一点只会更真实。 构建评测体系，快速做模型升级决策。 不需要完美，但至少能做模型间的相对比较。 大多数决策在 成本 vs 基准性能的帕累托图 上会一目了然。 鼓励所有工程师用 AI 构建。 提供基础能力： * 从任意代码库/模型调用 * 结构化输出 * 语义相似度接口 * 沙盒代码执行等等。 我还遗漏了什么？ yes things are changing fast, but also I see companies (even faang) way behind the frontier for no reason. you are guaranteed to lose if you fall behind. the no unforced-errors ai leader playbook: For your team: - use coding agents. give all engineers their pick of harnesses, models, background agents: Claude code, Cursor, Devin, with closed/open models. Hearing Meta engineers are forced to use Llama 4. Opus 4.5 is the baseline now. - give your agents tools to ALL dev tooling: Linear, GitHub, Datadog, Sentry, any Internal tooling. If agents are being held back because of lack of context that’s your fault. - invest in your codebase specific agent docs. stop saying “doesn’t do X well”. If that’s an issue, try better prompting, http://agents.md, linting, and code rules. Tell it how you want things. Every manual edit you make is an opportunity for http://agent.md improvement - invest in robust background agent infra - get a full development stack working on VM/sandboxes. yes it’s hard to set up but it will be worth it, your engineers can run multiple in parallel. Code review will be the bottleneck soon. - figure out security issues. stop being risk averse and do what is needed to unblock access to tools. in your product: - always use the latest generation models in your features (move things off of last gen models asap, unless robust evals indicate otherwise). Requires changes every 1-2 weeks - eg: GitHub copilot mobile still offers code review with gpt 4.1 and Sonnet 3.5 @jaredpalmer. You are leaving money on the table by being on Sonnet 4, or gpt 4o - Use embedding semantic search instead of fuzzy search. Any general embedding model will do better than Levenshtein / fuzzy heuristics. - leave no form unfilled. use structured outputs and whatever context you have on the user to do a best-effort pre-fill - allow unstructured inputs on all product surfaces - must accept freeform text and documents. Forms are dead. - custom finetuning is dead. Stop wasting time on it. Frontier is moving too fast to invest 8 weeks into finetuning. Costs are dropping too quickly for price to matter. Better prompting will take you very far and this will only become more true as instruction following improves - build evals to make quick model-upgrade decisions. they don’t need to be perfect but at least need to allow you to compare models relative to each other. most decisions become clear on a Pareto cost vs benchmark perf plot - encourage all engineers to build with ai: build primitives to call models from all code bases / models: structured output, semantic similarity endpoints, sandbox code execution. etc What else am I missing?

dharmeshCo-founder/CTO, HubSpot
目录

观点原文

是的，变化确实非常快，但我也看到很多公司（甚至包括 FAANG）在没有任何正当理由的情况下，远远落后于技术前沿。

一旦落后，你几乎注定会输。

下面是“不犯非受迫性失误的 AI 领导者作战手册”：

对你的团队：

使用编程 Agent。给所有工程师自由选择工具和模型的权利：Claude Code、Cursor、Devin，支持闭源/开源模型。听说 Meta 的工程师被强制使用 Llama 4。Opus 4.5 现在应该是基线。

给 Agent 接入所有开发工具。Linear、GitHub、Datadog、Sentry，以及任何内部工具。如果 Agent 因为缺乏上下文被限制，那是你的责任。

为你的代码库投资专用的 Agent 文档。别再说“它不擅长做 X”。如果有问题，就改进提示、agents.md、lint 规则和代码规范。告诉它你希望事情怎么做。你每一次手动修改代码，都是一次改进 agent.md 的机会。

投入强大的后台 Agent 基础设施。在 VM / 沙盒上跑完整的开发栈。是的，搭建很难，但绝对值得——工程师可以并行跑多个 Agent。很快，代码审查会成为瓶颈。

解决安全问题。别再过度保守，为了解锁工具访问，该做的就做。

在你的产品中：

始终使用最新一代模型。

尽快从上一代模型迁移，除非有严格评测证明不该换。

这意味着每 1–2 周就要更新一次。例如：GitHub Copilot Mobile 仍在用 GPT-4.1 和 Sonnet 3.5 做代码审查（@jaredpalmer）。如果你还在用 Sonnet 4 或 GPT-4o，你正在白白丢钱。

用向量嵌入语义搜索，替代模糊搜索。

任何通用 embedding 模型，都会比 Levenshtein / 模糊匹配启发式算法更好。

不要留下任何空表单。

使用结构化输出，并结合你已有的用户上下文，尽最大努力自动预填。

在所有产品界面支持非结构化输入。

必须接受自由文本和文档输入。表单已经过时了。

自定义微调已经死了。

别再浪费时间。前沿发展太快，不值得花 8 周做微调。

成本下降太快，价格已经不重要。更好的提示工程能带你走很远，而且随着指令遵循能力提升，这一点只会更真实。

构建评测体系，快速做模型升级决策。

不需要完美，但至少能做模型间的相对比较。

大多数决策在 成本 vs 基准性能的帕累托图 上会一目了然。

鼓励所有工程师用 AI 构建。

提供基础能力：

  • 从任意代码库/模型调用
  • 结构化输出
  • 语义相似度接口
  • 沙盒代码执行等等。

我还遗漏了什么？

yes things are changing fast, but also I see companies (even faang) way behind the frontier for no reason.

you are guaranteed to lose if you fall behind.

the no unforced-errors ai leader playbook:

For your team:

  • use coding agents. give all engineers their pick of harnesses, models, background agents: Claude code, Cursor, Devin, with closed/open models. Hearing Meta engineers are forced to use Llama 4. Opus 4.5 is the baseline now.
  • give your agents tools to ALL dev tooling: Linear, GitHub, Datadog, Sentry, any Internal tooling. If agents are being held back because of lack of context that’s your fault.
  • invest in your codebase specific agent docs. stop saying “doesn’t do X well”. If that’s an issue, try better prompting, agents.md, linting, and code rules. Tell it how you want things. Every manual edit you make is an opportunity for agent.md improvement
  • invest in robust background agent infra - get a full development stack working on VM/sandboxes. yes it’s hard to set up but it will be worth it, your engineers can run multiple in parallel. Code review will be the bottleneck soon.
  • figure out security issues. stop being risk averse and do what is needed to unblock access to tools.

in your product:

  • always use the latest generation models in your features (move things off of last gen models asap, unless robust evals indicate otherwise). Requires changes every 1-2 weeks - eg: GitHub copilot mobile still offers code review with gpt 4.1 and Sonnet 3.5

@jaredpalmer. You are leaving money on the table by being on Sonnet 4, or gpt 4o

  • Use embedding semantic search instead of fuzzy search. Any general embedding model will do better than Levenshtein / fuzzy heuristics.
  • leave no form unfilled. use structured outputs and whatever context you have on the user to do a best-effort pre-fill
  • allow unstructured inputs on all product surfaces - must accept freeform text and documents. Forms are dead.
  • custom finetuning is dead. Stop wasting time on it. Frontier is moving too fast to invest 8 weeks into finetuning. Costs are dropping too quickly for price to matter. Better prompting will take you very far and this will only become more true as instruction following improves
  • build evals to make quick model-upgrade decisions. they don’t need to be perfect but at least need to allow you to compare models relative to each other. most decisions become clear on a Pareto cost vs benchmark perf plot
  • encourage all engineers to build with ai: build primitives to call models from all code bases / models: structured output, semantic similarity endpoints, sandbox code execution. etc

What else am I missing?

ABAB AI 解读

这段话不是工具清单，而是一份关于“组织为什么会在 AI 时代输掉”的内部尸检报告。它真正想解决的不是“怎么用 AI”，而是：为什么明明看见前沿，组织却系统性地追不上。我从 失败根因、组织重构、真正的领先标准 三个最高层面解读。

一、核心判断：落后不是技术问题，而是管理层的“非受迫性失误”

作者用了一句很重的话：you are guaranteed to lose if you fall behind

这不是夸张，而是产业结构事实。原因在于：

  • AI 的边际成本下降速度极快
  • 能力是可复制的，但节奏不可复制
  • 一旦被拉开 6–12 个月，不是追赶问题，而是被重构问题

而很多公司落后的原因，不是因为：

  • 算力不够
  • 人才不行

而是因为：管理层主动选择了慢、保守、可控的路径。

这就是“non-unforced errors”。

二、对“团队”的建议，本质是在拆掉中层的控制权

看似是在讲工程工具，实际上是在挑战传统工程管理的权力结构。

1️⃣ “给工程师自由选 Agent”，为什么这么关键？

强制统一工具（例如“只能用 Llama”）的本质是：

  • 管理方便
  • 风险可控
  • 责任好甩

但代价是：你把“生产力前沿”降级为“组织平均值”。

AI 时代，个体差距被放大。允许工程师自己选工具，本质是：

  • 承认个体差异
  • 把效率优先级放在“管理一致性”之上
  • 这是所有领先组织的共同特征。

2️⃣ “Agent 被卡，是你的错”

这句话非常狠，但极其准确。

如果：

  • Agent 没权限
  • Agent 没上下文
  • Agent 不能访问系统
  • 那它当然“不好用”。

把 AI 当成“无权限实习生”，然后抱怨它效率低，是组织级的自欺。

3️⃣ agents.md 的真正含义：知识开始从“人脑”迁移到“系统”

作者点破一个常被忽视的事实：你每一次手动改代码，都是一次组织知识没有被系统化的失败。

agents.md 本质上是：

  • 可执行的工程文化
  • 可复制的“怎么把事情做好”
  • 把“好工程师的隐性经验”变成机器可用的规则
  • 这是组织学习能力的关键载体。

三、对“产品”的建议，指向一个更大的结论：旧的软件范式已经失效

这些建议的共同点只有一个：

  • 假设“人会用 AI，而不是填写表单”。
  • 表单死了，模糊搜索死了，微调也死了

不是因为它们不好，而是因为：

  • 人类不再愿意被迫结构化
  • 模型已经足够强，可以从混乱中提取结构
  • 成本下降速度快过“工程精致化”的收益
  • 继续坚持旧范式，只会拖慢产品节奏。

四、“不要微调”的真正含义：时间比最优更重要

这句话会让很多 ML 团队不舒服，但它反映的是现实：

  • 微调是资本密集型、时间密集型
  • 而前沿能力的“均值”正在每几周上移

在这种环境下：8 周优化一个旧模型，往往不如 2 周换一个新模型。

这不是否定技术，而是承认时间函数已经改变。

五、真正的领先标准已经变了

这段话隐含了一个新的竞争定义：

领先 ≠ 模型最强

领先 = 升级最快 + 试错最快 + 放弃最快

  • 能 1–2 周升级一次
  • 能用粗糙但真实的 eval 做决策
  • 能毫不留恋地抛弃上代方案

这是一种节奏型优势，不是技术优势。

六、一句话的最高层总结

这段话真正想说的是：AI 时代，最大的风险不是犯错，而是“为了不犯错而选择慢”。

当变化速度超过组织决策速度时：

  • 谨慎 ≈ 落后
  • 稳定 ≈ 失败

七、站在最高认知的最终判断

未来 2–3 年，你会看到一个非常清晰的分化：

赢家：

  • 把 AI 当作“默认执行层”
  • 允许混乱、快速试错
  • 用节奏压倒完美

输家：

  • 把 AI 当成“受控工具”
  • 优先合规与一致性
  • 永远在等“更成熟的版本”

前者在构建未来，后者在维护过去。

这不是技术路线之争，而是组织是否敢于承认：自己必须比机器更快改变。

Sharing

相关观点