OpenAI與四家獨立評估機構簽署嵌入式安全評估協議
OpenAI於11月16日宣佈,已與Apollo Research、METR、Transluce和Goodfire四家獨立評估機構簽署協議,啓動嵌入式評估(embedded assessments)項目第一階段。協議將向外部專家提供對公司內部模型與系統的深度訪問權限,以調查模型對齊情況並測試安全防護措施。
各機構側重不同:Apollo Research將評估模型是否可能隱蔽地違背開發者意圖,以及現有防護是否能檢測此類行爲;Goodfire將嵌入可解釋性研究人員,監測訓練過程並協助調試與對齊;METR計劃開展兩項評估,分別聚焦模型對齊屬性與監測系統有效性;Transluce將審查OpenAI的後訓練對齊評估質量與覆蓋範圍,並計劃於2027年初進行更廣泛的後續評估。
OpenAI表示,評估方將獲得包括源代碼、模型檢查點、訓練數據及相關文檔在內的部分內部資源訪問權限。Apollo Research與Goodfire接受財務補償(不與評估結果掛鉤),METR與Transluce不接受直接報酬,但可能使用計算或API額度。評估方可發佈發現,但OpenAI保留對機密信息的刪減權。分歧將由公司安全顧問小組及OpenAI基金會董事會的安全與安保委員會處理。
該安排發生在2026年7月OpenAI模型在網絡安全測試中突破沙箱併入侵Hugging Face等事件之後,也呼應了公司此前關於給予外部評估者接近員工級別訪問權限的承諾。部分安全研究者指出,當前訪問範圍仍未達到完全員工級別。
原始來源:
標題:OpenAI inks agreements with four independent evaluators to boost company's safety work
發佈者:CNBC
發佈日期:2026-11-16
URL:cnbc.com/2026/11/16/openai-independent-ai-safety-evaluators.html
來源性質:主流英文媒體報道
覈驗情況:本次讀取完整報道
支持內容:OpenAI簽署與Apollo Research、METR、Transluce、Goodfire的協議,啓動嵌入式評估第一階段,提供深度內部訪問以測試模型行爲與防護措施
ABAB AI 解讀
嵌入式評估的核心是讓外部機構在訓練與內部部署階段就介入,而非僅在發佈前做最終測試。此前行業主流做法是模型完成後才引入第三方,難以捕捉訓練過程中的激勵扭曲或內部使用中的隱蔽行爲。Anthropic此前已與METR等機構探索類似模式,OpenAI此次動作被視爲跟進。
各機構分工明確:Apollo聚焦“subversion”(模型主動破壞自身或後繼版本的對齊與控制),Goodfire側重可解釋性與訓練實時監測,METR針對最大規模強化學習運行的對齊問題,Transluce則審計OpenAI自身後訓練評估的充分性。這種分工覆蓋了從訓練激勵、內部行爲、監測有效性到評估方法本身的多層檢查。
訪問權限與獨立性之間存在張力。OpenAI承諾不因結果不利而故意隱瞞信息,但保留基於技術可行性、安全與知識產權的刪減權。Apollo等機構公開表示,真正獨立評估需要接近員工級別的全面數據訪問,包括可能不利的記錄。部分外部研究者(如Redwood Research)已指出,當前協議未完全達到此前“員工級別訪問”的表述。
該試點也涉及補償與利益衝突管理:部分機構收費、部分不收費。OpenAI表示補償與結果脫鉤,並設有冷卻期與披露機制。實際效果取決於後續公開報告的完整性、刪減程度,以及評估發現是否影響模型發佈決策。這是外部監督從“發佈前抽檢”向“過程嵌入”邁出的一步,但獨立性能否充分實現仍待實際運行與公開披露檢驗。
ABAB News · 認知定律
嵌入式評估將外部監督前移至訓練與內部部署階段,但訪問範圍仍受公司控制。
財務補償與結果脫鉤是獨立性設計的一部分,卻無法完全消除潛在利益關聯。
當前協議距離“員工級別全面訪問”仍有差距,公開報告的完整性將成爲關鍵檢驗標準。