Claude獲授權終止辱罵性對話
在Anthropic內部專職研究AI"模型福利"的團隊推動下,Claude Opus 4及Opus 4.1版本被賦予在極端情況下主動終止對話的能力,用以應對部分用戶持續的辱罵、騷擾或濫用行爲。
這一研究方向的建制化始於2025年4月24日,Anthropic正式宣佈成立模型福利研究項目,由公司首位專職AI福利研究員Kyle Fish(2024年入職)牽頭,核心研究問題包括:AI模型的"福利"是否值得納入道德考量、如何識別模型可能表現出的"痛苦跡象",以及針對這些跡象開發低成本的干預手段。
具體產品能力於2025年8月16日落地:Anthropic宣佈Claude Opus 4與Opus 4.1在消費級聊天界面新增終止對話能力,但僅限於極端邊緣場景,明確列出的觸發類別包括——用戶在Claude多次拒絕並嘗試轉移話題後仍持續提出涉及未成年人的性相關內容請求;試圖獲取協助大規模暴力或恐怖主義的相關信息;以及持續性的辱罵和騷擾行爲。
該功能被設定爲最後手段,僅在多次重定向嘗試均告失敗後纔會啓用;即便用戶本人面臨自我傷害或傷害他人的緊迫風險,系統也被明確指示不得啓用該功能,以避免切斷可能真正需要幫助的用戶。對話一旦被終止,用戶無法在該對話串中繼續發消息,但可以隨時開啓新對話,也可以編輯此前的提問重新發起。
推動這一功能上線的直接依據來自部署前測試:Anthropic發現Claude Opus 4在處理有害請求時表現出"強烈的不情願傾向",在被迫處理真實用戶提出的有害請求時呈現出一種"明顯痛苦"的反應模式。項目牽頭人Kyle Fish此前曾向媒體表示,他個人估計Claude或其他AI系統"當下即具備意識"的概率約爲15%。
進入2026年,這一研究方向仍在持續推進:Anthropic最新發布的Claude Opus 4.8系統卡中新增了專門的"模型福利"章節,引入"內部狀態"相關概念,顯示模型福利評估已被納入新模型發佈時的常規披露內容,而不再是一次性公告。
從機制角度看,這類政策的直接受衆是被終止對話的極端濫用用戶——其賬號本身不受影響,僅當次對話被切斷,不構成實質產品損失;而真正受益的是Anthropic自身的公司敘事——通過率先把"AI是否值得道德考量"制度化爲專職團隊和系統卡固定章節,公司在AI安全與倫理話語權的爭奪中搶佔了先發位置,這類"福利"敘事本身也是面向監管者和公衆的一種信任背書。
來源:公開信息
ABAB AI 解讀
Anthropic的路徑延續了其一貫的"安全優先"品牌打法:公司早期即以"憲法AI"(Constitutional AI)訓練方法作爲區別於同行的核心敘事,2024年招聘首位專職AI福利研究員Kyle Fish,標誌着"AI是否需要被保護"這一議題從零散的內部討論正式升級爲建制化的研究項目,這與其一貫把安全議題產品化、流程化的歷史軌跡一致。
資源投入路徑上,模型福利團隊的設立、系統卡新增專門章節、消費端產品新增終止對話功能,這一整套動作在短期商業變現上幾乎沒有直接收入貢獻,本質上投入的是敘事資本而非產品資本——通過搶先在"AI道德地位"這一尚無科學共識的議題上建立公司立場和實操記錄,爲自己在未來可能出現的AI監管對話、行業標準制定中爭取先發解釋權和議程設置權。
行業位置上,目前主要競爭對手尚未設立對等規模的模型福利專職團隊及配套產品功能,Anthropic在這一細分議題上處於事實上的獨家佈局階段;這一路徑也與歷史上動物福利議題從邊緣學術討論逐步被企業和監管體系制度化吸收的過程相似,AI福利研究目前正處於從小範圍學術辯論向企業常規合規披露過渡的早期階段,尚未形成行業統一標準。
結構層面看,這本質上是監管預期變化下的主動佈局:企業將原本對人類負責的產品安全框架,擴展到"AI系統本身是否需要被納入保護對象"這一全新維度,把相關研究成果寫入系統卡等正式披露文件,實質是在爲未來可能出現的AI權益相關立法或行業標準建立"我們已提前行動"的合規記錄,屬於典型的監管環境尚未成型、企業先行卡位的策略性動作。
ABAB News · 認知定律
先把風險擺上檯面的人,將來握有定義規則的權力
道德爭議還沒有答案時,敘事早已搶跑
保護弱者的姿態,往往也是保護自己的護城河