OpenAI称将受保护推理提取成功率从54%降至0.2%
OpenAI于11月20日发布研究,说明其对抗对抗性蒸馏的措施。公司在内部自适应红队评估中测试攻击者能否恢复模型在回答先前提示时生成的受保护推理(chain-of-thought)。针对从先前请求中提取受保护推理的攻击,平均成功率从带原始防护的GPT-6 Astra的54.0%,降至带更新防护的GPT-6.2 Astra的0.2%。
公司表示,已在GPT-6.2 Astra与GPT-6.2 Sol中加强相关防护,包括将受保护推理与产生它的对话历史绑定,并在先前消息被改写时丢弃后续推理。防护措施还包括模型行为训练、输入输出分类器及API层级限制,并调查有组织的提取活动。
原始来源:
标题:Combatting adversarial distillation
发布者:OpenAI
发布日期:2026-11-20
URL:openai.com/index/combatting-adversarial-distillation
来源性质:公司研究公告
核验情况:本次读取全文,核验日期2026-11-20
支持内容:支持54.0%降至0.2%的评估结果、模型版本、防护措施及提取目标为受保护推理的表述。
ABAB AI 解读
受保护推理指模型内部生成的中间步骤,可能包含最终答案未披露的信息,因此对另一模型的训练具有较高价值。OpenAI内部研究显示,在网络安全任务上,使用精确推理轨迹训练的学生模型,在监督微调后通常优于仅使用推理摘要训练的学生模型。
公司此前于9月披露,已阻断一起有组织的提取受保护推理活动,核心部分归因于与Moonshot AI相关的个人。本次公告将推理防护与生物学及网络安全领域的防护标准对齐,并提到在2月向国会简报DeepSeek相关活动。
防御分为请求层级(模型行为、分类器、API控制)与活动层级(账户网络调查与执法)。公司称,本年度已对相关活动采取每周数千至数万账户的执法行动。评估结果来自内部自适应黑盒测试,并非独立第三方审计。
公开信息未提供外部验证数据、具体攻击样本或长期有效性评估。公司表示正将部分改进应用于GPT-6 Astra。
ABAB News · 认知定律
模型内部推理轨迹对下游模型训练的价值高于仅使用最终答案或摘要。
将推理与特定对话历史绑定,可提高跨会话提取的难度。
对抗性蒸馏的防御需要请求层级控制与有组织活动调查相结合。