OpenAI即將發佈的Astra據報採用“循環深度”架構，讓同一組Transformer層對隱藏狀態重複計算
OpenAI即將發佈的Astra據報採用“循環深度”架構，讓同一組Transformer層對隱藏狀態重複計算，以在不持續生成更長文本思維鏈的情況下增加模型內部推理。
傳統Transformer通常讓每個輸入表示依次通過固定、彼此不同的網絡層；循環深度則把共享核心層重複運行多輪，將前一輪隱藏狀態重新送入同一計算模塊後再解碼輸出。增加的是單次推理時的內部計算深度，而不是模型必須輸出的文字長度。
該路徑可在相近參數量下以更多測試時計算換取推理能力。Gated Recurrent Transformer研究顯示，在相近訓練與推理計算預算下，3層循環模型可匹配12層GPT-2 Small基線表現；在更大規模實驗中，循環架構以約少63%的參數和少59%的峯值解碼內存，換取約10%的生成延遲增加。
字節跳動Seed團隊此前發佈Ouro系列Looped Language Model。Ouro基於7.7萬億token預訓練，論文和技術解讀稱其通過共享Transformer塊循環處理隱藏表示，在若干任務上實現相對標準前饋架構約2至3倍的參數效率提升；其重點並非擴大知識存儲量，而是提高模型對既有知識的組合與多步操作能力。
循環深度的安全問題在於，額外推理發生於隱藏向量中，而不是以可讀文本token形成完整思維鏈。現有Chain-of-Thought監控可掃描模型輸出的中間文字，識別越獄、欺騙意圖或危險操作計劃；隱藏狀態循環則使監控系統看不到部分實際推理過程。
據報道，OpenAI因此限制Astra中循環深度的使用程度，保留可讀取的文本思維鏈，並擬加入額外的CoT監控。這並不代表監控能完整還原隱藏狀態推理，只是用可見推理軌跡覆蓋模型仍會外顯的一部分決策過程。
市場機制上，買方是需要更高推理質量、更低參數成本或更短輸出長度的AI開發者、企業與雲客戶；賣方是掌握模型架構、GPU算力、訓練數據、推理基礎設施及安全評估能力的前沿模型公司。循環深度將部分價值從“堆更多參數、輸出更多token”轉向“以更高效的內部計算獲得結果”，潛在受益者包括受顯存和模型部署成本約束的模型提供商；承壓者是單純以參數規模或可見思維鏈長度作爲能力指標的模型路線。安全評估、可解釋性與隱藏推理審計則成爲新的稀缺基礎設施。
來源：公開信息
ABAB AI 解讀
循環深度並非全新概念。循環神經網絡早期就通過共享參數反覆處理序列信息，Universal Transformer等研究曾探索讓Transformer層迭代計算；當前變化在於，前沿推理模型開始將這種“共享層多輪執行”用於測試時算力擴展。OpenAI的Astra被報道採用該方法，說明模型能力競爭不再只依賴預訓練時擴大參數與數據，也轉向讓模型在給出答案前，動態投入更多內部計算。
資本路徑上，標準大模型通常以更多參數、更多GPU顯存和更長Chain-of-Thought輸出換取複雜問題表現。循環架構嘗試把一組已訓練權重反覆使用：公司可以減少爲每一輪獨立計算新增參數的需求，卻要支付更多推理輪次、延遲、調度與驗證成本。對模型公司而言，這會改變成本函數——資本不再完全壓在訓練階段的參數擴張，也更多投入推理集羣、動態停止機制、KV緩存、低延遲網絡和安全監控。Ouro提出的early-exit門控，本質是決定哪些token值得多循環幾輪，避免所有任務均承擔最高計算成本。
歷史上，DeepMind的AlphaGo和AlphaZero將神經網絡估值與樹搜索結合，用更多測試時搜索顯著改善決策；OpenAI o系列及其他推理模型則將更多計算外顯爲文本思維鏈。循環深度屬於第三種路線：把額外推理從樹搜索或文字token遷移到連續的潛在表徵。它與MoE的邏輯也不同：MoE通過只激活部分專家降低每token計算，循環深度則通過反覆複用共享層提升單個問題的處理深度。行業正從“模型一次前向傳播出答案”進入“模型爲難題分配不同計算預算”的階段。
這屬於技術替代。被替代的首先是“更多可見文本推理等於更多智能”的默認假設。文字思維鏈有利於用戶理解、訓練和安全審計，但每個token都要佔用上下文、帶來延遲並消耗推理資源；隱藏循環可將部分複雜計算壓縮到向量空間，提高參數利用率，卻也奪走了安全團隊最容易觀察的信號。未來模型能力的關鍵分界線，將不是是否能寫出長推理，而是能否在內部高效推理的同時，留下足夠可審計、可驗證、可追責的行爲證據。
ABAB News · 認知定律
看得見的推理，不等於全部推理
參數決定容量，循環決定計算深度
能力藏進向量，監管失去文本入口