OpenAI稱將受保護推理提取成功率從54%降至0.2%
OpenAI於11月20日發佈研究,說明其對抗對抗性蒸餾的措施。公司在內部自適應紅隊評估中測試攻擊者能否恢復模型在回答先前提示時生成的受保護推理(chain-of-thought)。針對從先前請求中提取受保護推理的攻擊,平均成功率從帶原始防護的GPT-6 Astra的54.0%,降至帶更新防護的GPT-6.2 Astra的0.2%。
公司表示,已在GPT-6.2 Astra與GPT-6.2 Sol中加強相關防護,包括將受保護推理與產生它的對話歷史綁定,並在先前消息被改寫時丟棄後續推理。防護措施還包括模型行爲訓練、輸入輸出分類器及API層級限制,並調查有組織的提取活動。
原始來源:
標題:Combatting adversarial distillation
發佈者:OpenAI
發佈日期:2026-11-20
URL:openai.com/index/combatting-adversarial-distillation
來源性質:公司研究公告
覈驗情況:本次讀取全文,覈驗日期2026-11-20
支持內容:支持54.0%降至0.2%的評估結果、模型版本、防護措施及提取目標爲受保護推理的表述。
ABAB AI 解讀
受保護推理指模型內部生成的中間步驟,可能包含最終答案未披露的信息,因此對另一模型的訓練具有較高價值。OpenAI內部研究顯示,在網絡安全任務上,使用精確推理軌跡訓練的學生模型,在監督微調後通常優於僅使用推理摘要訓練的學生模型。
公司此前於9月披露,已阻斷一起有組織的提取受保護推理活動,核心部分歸因於與Moonshot AI相關的個人。本次公告將推理防護與生物學及網絡安全領域的防護標準對齊,並提到在2月向國會簡報DeepSeek相關活動。
防禦分爲請求層級(模型行爲、分類器、API控制)與活動層級(賬戶網絡調查與執法)。公司稱,本年度已對相關活動採取每週數千至數萬賬戶的執法行動。評估結果來自內部自適應黑盒測試,並非獨立第三方審計。
公開信息未提供外部驗證數據、具體攻擊樣本或長期有效性評估。公司表示正將部分改進應用於GPT-6 Astra。
ABAB News · 認知定律
模型內部推理軌跡對下游模型訓練的價值高於僅使用最終答案或摘要。
將推理與特定對話歷史綁定,可提高跨會話提取的難度。
對抗性蒸餾的防禦需要請求層級控制與有組織活動調查相結合。