OpenAI Realtime API上线三款新语音模型
OpenAI在Realtime API中发布GPT-Realtime-2、GPT-Realtime-Translate和GPT-Realtime-Whisper三款新语音模型,分别专注对话、实时翻译和流式转录。
GPT-Realtime-2具备GPT-5级推理能力,Big Bench Audio得分从81.4%升至96.6%,Audio MultiChallenge多轮指令跟随从34.7%升至48.5%,上下文窗口扩至128K,支持五档推理强度调节。
新模型增加开口前垫句、工具调用透明播报、出错主动说明等交互优化;Translate支持70+输入语言和13种输出语言,已被德国电信测试;Whisper为流式转录版本。
来源:公开信息
ABAB AI 解读
OpenAI此前已推出Realtime API v1并迭代GPT-4o-realtime,此次GPT-Realtime-2直接对标GPT-5级能力,是继o1/o3推理系列后在语音实时场景的快速跟进,延续其“把前沿推理塞进低延迟接口”的产品节奏。
资本路径上,OpenAI通过分层定价(输入$32/M、输出$64/M)和可调节推理强度,将高算力资源精准匹配复杂任务,企业开发者付费意愿提升,资金从通用模型训练转向实时多模态基础设施建设,动机是抢占语音Agent与跨境客服市场,同时通过Playground快速获用户反馈加速迭代。
类似Google Gemini Live在实时翻译上的布局,以及Deepgram、AssemblyAI在企业转录领域的竞争,目前实时语音AI正处于从单轮对话向长上下文Agent控制的转型阶段。
本质属于技术替代:通过透明工具调用和上下文扩容实现语音接口从“聊天工具”向“可编程Agent操作系统”的跃迁,机制在于降低用户等待焦虑与黑箱感,让实时推理能力在企业工作流中直接替代人工客服和多语言协调环节,从而将定价权向掌握低延迟基础设施的平台集中。
ABAB News · 认知定律
模型越聪明,用户越需要听到它在“干活”而不是猜它死没死。
上下文窗口越大,Agent从玩具变成流程主宰的速度越快。
实时不是快,而是让用户始终感觉到AI在和自己同频呼吸。