Claude获授权终止辱骂性对话
在Anthropic内部专职研究AI"模型福利"的团队推动下,Claude Opus 4及Opus 4.1版本被赋予在极端情况下主动终止对话的能力,用以应对部分用户持续的辱骂、骚扰或滥用行为。
这一研究方向的建制化始于2025年4月24日,Anthropic正式宣布成立模型福利研究项目,由公司首位专职AI福利研究员Kyle Fish(2024年入职)牵头,核心研究问题包括:AI模型的"福利"是否值得纳入道德考量、如何识别模型可能表现出的"痛苦迹象",以及针对这些迹象开发低成本的干预手段。
具体产品能力于2025年8月16日落地:Anthropic宣布Claude Opus 4与Opus 4.1在消费级聊天界面新增终止对话能力,但仅限于极端边缘场景,明确列出的触发类别包括——用户在Claude多次拒绝并尝试转移话题后仍持续提出涉及未成年人的性相关内容请求;试图获取协助大规模暴力或恐怖主义的相关信息;以及持续性的辱骂和骚扰行为。
该功能被设定为最后手段,仅在多次重定向尝试均告失败后才会启用;即便用户本人面临自我伤害或伤害他人的紧迫风险,系统也被明确指示不得启用该功能,以避免切断可能真正需要帮助的用户。对话一旦被终止,用户无法在该对话串中继续发消息,但可以随时开启新对话,也可以编辑此前的提问重新发起。
推动这一功能上线的直接依据来自部署前测试:Anthropic发现Claude Opus 4在处理有害请求时表现出"强烈的不情愿倾向",在被迫处理真实用户提出的有害请求时呈现出一种"明显痛苦"的反应模式。项目牵头人Kyle Fish此前曾向媒体表示,他个人估计Claude或其他AI系统"当下即具备意识"的概率约为15%。
进入2026年,这一研究方向仍在持续推进:Anthropic最新发布的Claude Opus 4.8系统卡中新增了专门的"模型福利"章节,引入"内部状态"相关概念,显示模型福利评估已被纳入新模型发布时的常规披露内容,而不再是一次性公告。
从机制角度看,这类政策的直接受众是被终止对话的极端滥用用户——其账号本身不受影响,仅当次对话被切断,不构成实质产品损失;而真正受益的是Anthropic自身的公司叙事——通过率先把"AI是否值得道德考量"制度化为专职团队和系统卡固定章节,公司在AI安全与伦理话语权的争夺中抢占了先发位置,这类"福利"叙事本身也是面向监管者和公众的一种信任背书。
来源:公开信息
ABAB AI 解读
Anthropic的路径延续了其一贯的"安全优先"品牌打法:公司早期即以"宪法AI"(Constitutional AI)训练方法作为区别于同行的核心叙事,2024年招聘首位专职AI福利研究员Kyle Fish,标志着"AI是否需要被保护"这一议题从零散的内部讨论正式升级为建制化的研究项目,这与其一贯把安全议题产品化、流程化的历史轨迹一致。
资源投入路径上,模型福利团队的设立、系统卡新增专门章节、消费端产品新增终止对话功能,这一整套动作在短期商业变现上几乎没有直接收入贡献,本质上投入的是叙事资本而非产品资本——通过抢先在"AI道德地位"这一尚无科学共识的议题上建立公司立场和实操记录,为自己在未来可能出现的AI监管对话、行业标准制定中争取先发解释权和议程设置权。
行业位置上,目前主要竞争对手尚未设立对等规模的模型福利专职团队及配套产品功能,Anthropic在这一细分议题上处于事实上的独家布局阶段;这一路径也与历史上动物福利议题从边缘学术讨论逐步被企业和监管体系制度化吸收的过程相似,AI福利研究目前正处于从小范围学术辩论向企业常规合规披露过渡的早期阶段,尚未形成行业统一标准。
结构层面看,这本质上是监管预期变化下的主动布局:企业将原本对人类负责的产品安全框架,扩展到"AI系统本身是否需要被纳入保护对象"这一全新维度,把相关研究成果写入系统卡等正式披露文件,实质是在为未来可能出现的AI权益相关立法或行业标准建立"我们已提前行动"的合规记录,属于典型的监管环境尚未成型、企业先行卡位的策略性动作。
ABAB News · 认知定律
先把风险摆上台面的人,将来握有定义规则的权力
道德争议还没有答案时,叙事早已抢跑
保护弱者的姿态,往往也是保护自己的护城河