Anthropic訓練Claude在回覆後進行自我評估以識別潛在濫用
Anthropic於2026年10月29日在X平臺發帖稱，已訓練Claude識別對話中的潛在濫用行爲，並將該技術稱爲“自我評估”（self-assessment）：Claude在完成回覆後會立即對對話給出初步安全評估。Anthropic表示，自6月開始使用該技術以來，已發現其他安全防護機制未能覆蓋的濫用行爲；由於Claude已讀取對話內容，該方法效率較高，且與針對特定危害類型的分類器不同，其依賴Claude自身判斷，準確性會隨模型能力提升而提高。
Anthropic Safeguards博客於2026年10月16日詳述該技術：在每次回覆後追加簡短指令，Claude輸出包含是否標記、危害類別、優先級評分、是否拒絕及一句解釋的緊湊評估，用戶不可見且不進入後續對話。該技術已應用於自Fable 5以來發布的所有Claude模型，覆蓋其全球流量的很大一部分，作爲縱深防禦中的一層離線監測，用於後續人工審覈。博客稱，在Claude Fable 5上，自我評估以1%假陽性率標記了更強提示分類器認定爲潛在有害對話的78%，以及高優先級對話的94%；每次評估平均增加約10個token，對推理成本的增加不足2%。
博客進一步說明，自我評估已幫助發現其他方法未識別的大規模濫用。例如，8月對單一API客戶標記超過10萬條兒童性虐待與剝削內容，兒童安全團隊調查後向美國國家失蹤與受剝削兒童中心（NCMEC）報告。該技術可泛化至未專門訓練的危害類別，並作爲更高精度調查工具的第一階段。
原始來源：
標題：We’ve trained Claude to flag potential misuse in conversations, a technique we call self-assessment. 發佈者：Anthropic（@AnthropicAI） 發佈日期：2026-10-29 URL：https://x.com/AnthropicAI/status/2115871889549865429 來源性質：公司官方X帖文 覈驗情況：已讀取原帖全文 支持內容：自我評估定義、6月起使用、發現其他防護未覆蓋的濫用、效率與隨模型提升準確性
標題：Scaling Misuse Detection with Self-Assessment 發佈者：Anthropic Safeguards Blog 發佈日期：2026-10-16 URL：https://safeguards.anthropic.com/2026/self-assessment/ 來源性質：公司官方技術博客 覈驗情況：已讀取全文關鍵部分 支持內容：工作機制、Fable 5上78%/94%標記率與1%假陽性率、覆蓋範圍、約10 token與不足2%成本、8月超10萬條CSAM標記並報告NCMEC、離線監測與縱深防禦定位
ABAB AI 解讀
自我評估將模型自身作爲監測器，在回覆後利用已加載的KV緩存進行低成本評估，與需重新讀取完整對話與政策的提示分類器相比計算開銷顯著更低。Anthropic將其定位爲寬覆蓋的離線第一階段，而非實時攔截，與現有實時分類器和探針形成互補。博客數據顯示，該技術在高優先級對話上可捕獲提示分類器94%的標記，同時保持1%假陽性率，並已在生產中發現其他檢測源未覆蓋的組織級濫用。
與針對固定危害類別的分類器不同，自我評估依賴模型對對話整體的判斷，可泛化至訓練時未見的危害類型。博客提及，移除某一危害類別的訓練數據並未顯著降低對該類危害的檢測性能，表明其利用了模型更廣泛的安全理解。這一特性使監測能力隨模型迭代同步提升，而非依賴人工持續更新分類器標籤。
生產應用中，該技術已用於組織級執法：多次高優先級標記的組織被升級至人工審覈。8月單一API客戶超過10萬條CSAM標記並報告NCMEC的案例，顯示其在規模化異常檢測上的實際作用。博客同時明確其侷限：無法捕獲所有有害對話，且不足以單獨阻止有針對性的攻擊者，因此仍作爲多層防護的一部分運行。
該機制將安全監測的計算成本從獨立模型推理轉移到已有推理的附加輸出，使全流量覆蓋成爲可行選項。與早期Constitutional Classifiers增加約23.7%推理成本相比，自我評估不足2%的增量顯著改變了監測覆蓋與成本的權衡，爲後續更高精度工具提供了可擴展的輸入信號。
ABAB News · 認知定律
模型自身作爲監測器時，檢測能力隨模型能力同步提升，無需單獨重訓分類器。
利用已有KV緩存的附加評估將全流量監測成本控制在推理增量2%以內。
離線自我評估捕獲其他檢測源未覆蓋的濫用，成爲組織級執法的寬覆蓋第一階段。