Codex負責人Tibo：OpenAI token非標準化單位

OpenAI Codex負責人Tibo指出，不同模型的token並非標準化單位，按百萬token美元計價無法直接比較實際成本，因爲同一文本在不同模型下消耗的token數量差異顯著。

他舉例稱，兩塊完全相同的披薩，一塊切成8片每片2美元，另一塊切成16片每片1.25美元，後者看似切片更便宜，但整塊披薩總價卻從16美元升至20美元，人的胃並不在意切片數量。

在一次覆蓋英語、技術、多語言與數字文本的小型對比中，GPT-5.6 Sol使用的tokenizer僅消耗766個token，而Claude Opus 5估計需要1170個token，前者少約34.5%。

同一精確文本因此可能因tokenizer差異產生額外token費用，單純看每token價格無法反映真實賬單。

即使修正tokenizer差異，真正關鍵的是每成功完成任務的價格，基準測試可作爲起點，但最終需在自身用例中實測。

市場機制層面，AI推理服務買方按token計費選擇模型時，更傾向token效率更高的提供商以降低總支出；賣方通過優化tokenizer與輸出效率吸引用量，事件本身驅動資金從單純低價token模型流向實際outcome成本更低的方案，高效tokenizer模型受益、token膨脹模型承壓。

補充數據顯示，該對比直接量化了跨模型token密度差異對賬單的實際影響。

來源：公開信息

ABAB AI 解讀

Tibo作爲OpenAI Codex與ChatGPT核心成員，此前多次公開強調模型效率與實際部署成本，OpenAI在GPT系列迭代中持續優化tokenizer與上下文處理，歷史上通過降低有效token消耗鞏固API市場份額，也曾因早期token定價不透明引發開發者成本投訴。

資本路徑上，OpenAI將資源集中投入自研tokenizer與模型壓縮技術，動機在於提升單位算力產出、降低客戶實際賬單以鎖定長期API用量，戰略上通過效率優勢對抗競爭對手的標價競爭，而非單純降價。

類似案例可見Anthropic在Claude系列中持續調整緩存與輸出定價結構，以及Google在Gemini長上下文模型中強化context caching，當前AI推理行業處於從“標價競爭”轉向“有效成本控制”的轉型階段。

結構判斷屬於定價權轉移：因爲tokenizer效率直接決定同一任務的實際token消耗，模型提供商通過技術優化掌握真實成本話語權，客戶從關注名義價格轉向關注完成率與總成本，機制上迫使行業從標準化計價幻覺走向以outcome爲核心的差異化競爭。

ABAB News · 認知定律