Anthropic训练Claude在回复后进行自我评估以识别潜在滥用
Anthropic于2026年10月29日在X平台发帖称，已训练Claude识别对话中的潜在滥用行为，并将该技术称为“自我评估”（self-assessment）：Claude在完成回复后会立即对对话给出初步安全评估。Anthropic表示，自6月开始使用该技术以来，已发现其他安全防护机制未能覆盖的滥用行为；由于Claude已读取对话内容，该方法效率较高，且与针对特定危害类型的分类器不同，其依赖Claude自身判断，准确性会随模型能力提升而提高。
Anthropic Safeguards博客于2026年10月16日详述该技术：在每次回复后追加简短指令，Claude输出包含是否标记、危害类别、优先级评分、是否拒绝及一句解释的紧凑评估，用户不可见且不进入后续对话。该技术已应用于自Fable 5以来发布的所有Claude模型，覆盖其全球流量的很大一部分，作为纵深防御中的一层离线监测，用于后续人工审核。博客称，在Claude Fable 5上，自我评估以1%假阳性率标记了更强提示分类器认定为潜在有害对话的78%，以及高优先级对话的94%；每次评估平均增加约10个token，对推理成本的增加不足2%。
博客进一步说明，自我评估已帮助发现其他方法未识别的大规模滥用。例如，8月对单一API客户标记超过10万条儿童性虐待与剥削内容，儿童安全团队调查后向美国国家失踪与受剥削儿童中心（NCMEC）报告。该技术可泛化至未专门训练的危害类别，并作为更高精度调查工具的第一阶段。
原始来源：
标题：We’ve trained Claude to flag potential misuse in conversations, a technique we call self-assessment. 发布者：Anthropic（@AnthropicAI） 发布日期：2026-10-29 URL：https://x.com/AnthropicAI/status/2115871889549865429 来源性质：公司官方X帖文 核验情况：已读取原帖全文 支持内容：自我评估定义、6月起使用、发现其他防护未覆盖的滥用、效率与随模型提升准确性
标题：Scaling Misuse Detection with Self-Assessment 发布者：Anthropic Safeguards Blog 发布日期：2026-10-16 URL：https://safeguards.anthropic.com/2026/self-assessment/ 来源性质：公司官方技术博客 核验情况：已读取全文关键部分 支持内容：工作机制、Fable 5上78%/94%标记率与1%假阳性率、覆盖范围、约10 token与不足2%成本、8月超10万条CSAM标记并报告NCMEC、离线监测与纵深防御定位
ABAB AI 解读
自我评估将模型自身作为监测器，在回复后利用已加载的KV缓存进行低成本评估，与需重新读取完整对话与政策的提示分类器相比计算开销显著更低。Anthropic将其定位为宽覆盖的离线第一阶段，而非实时拦截，与现有实时分类器和探针形成互补。博客数据显示，该技术在高优先级对话上可捕获提示分类器94%的标记，同时保持1%假阳性率，并已在生产中发现其他检测源未覆盖的组织级滥用。
与针对固定危害类别的分类器不同，自我评估依赖模型对对话整体的判断，可泛化至训练时未见的危害类型。博客提及，移除某一危害类别的训练数据并未显著降低对该类危害的检测性能，表明其利用了模型更广泛的安全理解。这一特性使监测能力随模型迭代同步提升，而非依赖人工持续更新分类器标签。
生产应用中，该技术已用于组织级执法：多次高优先级标记的组织被升级至人工审核。8月单一API客户超过10万条CSAM标记并报告NCMEC的案例，显示其在规模化异常检测上的实际作用。博客同时明确其局限：无法捕获所有有害对话，且不足以单独阻止有针对性的攻击者，因此仍作为多层防护的一部分运行。
该机制将安全监测的计算成本从独立模型推理转移到已有推理的附加输出，使全流量覆盖成为可行选项。与早期Constitutional Classifiers增加约23.7%推理成本相比，自我评估不足2%的增量显著改变了监测覆盖与成本的权衡，为后续更高精度工具提供了可扩展的输入信号。
ABAB News · 认知定律
模型自身作为监测器时，检测能力随模型能力同步提升，无需单独重训分类器。
利用已有KV缓存的附加评估将全流量监测成本控制在推理增量2%以内。
离线自我评估捕获其他检测源未覆盖的滥用，成为组织级执法的宽覆盖第一阶段。