OpenAI即将发布的Astra据报采用“循环深度”架构，让同一组Transformer层对隐藏状态重复计算
OpenAI即将发布的Astra据报采用“循环深度”架构，让同一组Transformer层对隐藏状态重复计算，以在不持续生成更长文本思维链的情况下增加模型内部推理。
传统Transformer通常让每个输入表示依次通过固定、彼此不同的网络层；循环深度则把共享核心层重复运行多轮，将前一轮隐藏状态重新送入同一计算模块后再解码输出。增加的是单次推理时的内部计算深度，而不是模型必须输出的文字长度。
该路径可在相近参数量下以更多测试时计算换取推理能力。Gated Recurrent Transformer研究显示，在相近训练与推理计算预算下，3层循环模型可匹配12层GPT-2 Small基线表现；在更大规模实验中，循环架构以约少63%的参数和少59%的峰值解码内存，换取约10%的生成延迟增加。
字节跳动Seed团队此前发布Ouro系列Looped Language Model。Ouro基于7.7万亿token预训练，论文和技术解读称其通过共享Transformer块循环处理隐藏表示，在若干任务上实现相对标准前馈架构约2至3倍的参数效率提升；其重点并非扩大知识存储量，而是提高模型对既有知识的组合与多步操作能力。
循环深度的安全问题在于，额外推理发生于隐藏向量中，而不是以可读文本token形成完整思维链。现有Chain-of-Thought监控可扫描模型输出的中间文字，识别越狱、欺骗意图或危险操作计划；隐藏状态循环则使监控系统看不到部分实际推理过程。
据报道，OpenAI因此限制Astra中循环深度的使用程度，保留可读取的文本思维链，并拟加入额外的CoT监控。这并不代表监控能完整还原隐藏状态推理，只是用可见推理轨迹覆盖模型仍会外显的一部分决策过程。
市场机制上，买方是需要更高推理质量、更低参数成本或更短输出长度的AI开发者、企业与云客户；卖方是掌握模型架构、GPU算力、训练数据、推理基础设施及安全评估能力的前沿模型公司。循环深度将部分价值从“堆更多参数、输出更多token”转向“以更高效的内部计算获得结果”，潜在受益者包括受显存和模型部署成本约束的模型提供商；承压者是单纯以参数规模或可见思维链长度作为能力指标的模型路线。安全评估、可解释性与隐藏推理审计则成为新的稀缺基础设施。
来源：公开信息
ABAB AI 解读
循环深度并非全新概念。循环神经网络早期就通过共享参数反复处理序列信息，Universal Transformer等研究曾探索让Transformer层迭代计算；当前变化在于，前沿推理模型开始将这种“共享层多轮执行”用于测试时算力扩展。OpenAI的Astra被报道采用该方法，说明模型能力竞争不再只依赖预训练时扩大参数与数据，也转向让模型在给出答案前，动态投入更多内部计算。
资本路径上，标准大模型通常以更多参数、更多GPU显存和更长Chain-of-Thought输出换取复杂问题表现。循环架构尝试把一组已训练权重反复使用：公司可以减少为每一轮独立计算新增参数的需求，却要支付更多推理轮次、延迟、调度与验证成本。对模型公司而言，这会改变成本函数——资本不再完全压在训练阶段的参数扩张，也更多投入推理集群、动态停止机制、KV缓存、低延迟网络和安全监控。Ouro提出的early-exit门控，本质是决定哪些token值得多循环几轮，避免所有任务均承担最高计算成本。
历史上，DeepMind的AlphaGo和AlphaZero将神经网络估值与树搜索结合，用更多测试时搜索显著改善决策；OpenAI o系列及其他推理模型则将更多计算外显为文本思维链。循环深度属于第三种路线：把额外推理从树搜索或文字token迁移到连续的潜在表征。它与MoE的逻辑也不同：MoE通过只激活部分专家降低每token计算，循环深度则通过反复复用共享层提升单个问题的处理深度。行业正从“模型一次前向传播出答案”进入“模型为难题分配不同计算预算”的阶段。
这属于技术替代。被替代的首先是“更多可见文本推理等于更多智能”的默认假设。文字思维链有利于用户理解、训练和安全审计，但每个token都要占用上下文、带来延迟并消耗推理资源；隐藏循环可将部分复杂计算压缩到向量空间，提高参数利用率，却也夺走了安全团队最容易观察的信号。未来模型能力的关键分界线，将不是是否能写出长推理，而是能否在内部高效推理的同时，留下足够可审计、可验证、可追责的行为证据。
ABAB News · 认知定律
看得见的推理，不等于全部推理
参数决定容量，循环决定计算深度
能力藏进向量，监管失去文本入口