Codex负责人Tibo:OpenAI token非标准化单位
OpenAI Codex负责人Tibo指出,不同模型的token并非标准化单位,按百万token美元计价无法直接比较实际成本,因为同一文本在不同模型下消耗的token数量差异显著。
他举例称,两块完全相同的披萨,一块切成8片每片2美元,另一块切成16片每片1.25美元,后者看似切片更便宜,但整块披萨总价却从16美元升至20美元,人的胃并不在意切片数量。
在一次覆盖英语、技术、多语言与数字文本的小型对比中,GPT-5.6 Sol使用的tokenizer仅消耗766个token,而Claude Opus 5估计需要1170个token,前者少约34.5%。
同一精确文本因此可能因tokenizer差异产生额外token费用,单纯看每token价格无法反映真实账单。
即使修正tokenizer差异,真正关键的是每成功完成任务的价格,基准测试可作为起点,但最终需在自身用例中实测。
市场机制层面,AI推理服务买方按token计费选择模型时,更倾向token效率更高的提供商以降低总支出;卖方通过优化tokenizer与输出效率吸引用量,事件本身驱动资金从单纯低价token模型流向实际outcome成本更低的方案,高效tokenizer模型受益、token膨胀模型承压。
补充数据显示,该对比直接量化了跨模型token密度差异对账单的实际影响。
来源:公开信息
ABAB AI 解读
Tibo作为OpenAI Codex与ChatGPT核心成员,此前多次公开强调模型效率与实际部署成本,OpenAI在GPT系列迭代中持续优化tokenizer与上下文处理,历史上通过降低有效token消耗巩固API市场份额,也曾因早期token定价不透明引发开发者成本投诉。
资本路径上,OpenAI将资源集中投入自研tokenizer与模型压缩技术,动机在于提升单位算力产出、降低客户实际账单以锁定长期API用量,战略上通过效率优势对抗竞争对手的标价竞争,而非单纯降价。
类似案例可见Anthropic在Claude系列中持续调整缓存与输出定价结构,以及Google在Gemini长上下文模型中强化context caching,当前AI推理行业处于从“标价竞争”转向“有效成本控制”的转型阶段。
结构判断属于定价权转移:因为tokenizer效率直接决定同一任务的实际token消耗,模型提供商通过技术优化掌握真实成本话语权,客户从关注名义价格转向关注完成率与总成本,机制上迫使行业从标准化计价幻觉走向以outcome为核心的差异化竞争。
ABAB News · 认知定律
单位便宜≠总成本低
效率差决定真实账单
标价是表象,outcome才是定价权