返回快訊

三名Anthropic研究員公開警示十年內存在毀滅人類的真實風險

Anthropic三名一線研究者同夜公開警告:前沿實驗室正衝向可能失控的超級智能,並認爲本十年內存在毀滅人類的真實風險。

預訓練研究員Jacob Coxon宣佈辭職,稱自己三年間先後在OpenAI與Anthropic做預訓練,兩家都未負責任行事,正競速自我改進的超級智能。他對華爾街日報表示,按更激進情景,到明年年底就可能已失控。

仍在職的對齊科學負責人Evan Hubinger公開附和,稱同事確實相信人工智能可能殺死所有人,他個人估計未來十年該概率高於10%。他區分現有模型風險仍低,真正擔心的是遞歸自我改進帶來的超級智能,並稱進展快於原先判斷。

安全研究員Samuel Marks以個人身份發聲,稱Coxon的敘述值得閱讀;開發者相信技術可能導致滅絕或同等嚴重後果,且職級越高、擔憂越重。Hubinger同時寫明:公司在盡力,但尚無解決超級智能對齊的方案,也談不上已走上該軌道。

Coxon把OpenAI描述爲尚未內化文明級賭注,把Anthropic描述爲看清風險卻因認定對手不會停手而搶先進入終局。他主張美國實驗室可做節奏協議,全球競賽或需暫時禁止繼續提升模型能力。

市場機制上,這是聲譽與人才事件:安全溢價被內部證人改寫,訓練與融資日程仍由算力競賽定價。受益方是監管討論、停訓倡議和風險對沖敘事;承壓方是依賴“更負責任實驗室”品牌融資與招人的Anthropic,以及同行的安全溝通口徑。資金不會因帖文停建集羣,但保險、政策與企業採購會重新給滅絕概率標價。

三人發言疊在Anthropic更早的安全保障負責人離職、以及OpenAI首席科學家承認對齊尚未解決之後,把私下恐懼寫成可引用的公開概率。

來源:公開信息

ABAB AI 解讀

Anthropic靠前OpenAI安全派立身,現在被自己的預訓練、對齊和安全崗同時作證:風險被承認,方案不被承認。Coxon提供能力側證人,Hubinger提供官方對齊編制內的概率,Marks提供職級與恐懼正相關。三點連成一條鏈:知道得越多的人越不相信賽跑可 internally 剎車。

資本繼續按模型代際和雲合同投放,對齊預算是配套項。Hubinger說“沒有超級智能對齊計劃且不在軌道上”,等於把安全部門從剎車改成旁白。實驗室仍加預訓練,是因爲停手等於把定義下一代系統的權利交給對手。資源鎖在算力和發佈窗口,證詞只能改輿論,不能改訓練隊列。

對照Sharma離職、Leike離開OpenAI、Turner離開DeepMind:安全崗退出或公開唱反調,已成爲行業固定出口。階段從安全品牌擴張進入自我證僞:對外仍賣負責任,對內承認終局被私人公司日程推動。

這屬於技術替代尚未完成時的治理真空:滅絕概率被內部定價,決策權仍在競賽結構裏。機制是承認風險不產生否決權,否決權只存在於誰先跑出自我改進。

ABAB News · 認知定律

  1. 承認風險的人,不一定握有剎車

  2. 職級越高越怕,說明信息在上層更全

  3. 沒有對齊計劃的賽跑,計劃本身就是繼續跑