前Google DeepMind安全研究員Alex Turner公開附和Jacob Coxon
前Google DeepMind安全研究員Alex Turner公開附和Jacob Coxon,稱許多研究者相信自己正在建造可能殺死地球上所有人的系統,而思考如何阻止這件事曾是他的日常工作。
Turner於6月離開DeepMind,離職時尚未接下新職,隨後轉向獨立對齊與安全研究。他在公司任職超過兩年,工作內容就是評估並試圖降低前沿系統帶來的災難性風險。
他此前公開說明離職主因並非抽象口號,而是Google與五角大樓簽署人工智能合作、允許將其用於保密行動,且未寫入禁止致命自主武器或大規模監視的約束。他稱自己在內部爭取數月,目睹倫理承諾在壓力下失效,簽約後無法繼續工作。
2018年DeepMind與相關負責人曾承諾不參與、不支持致命自主武器的開發或使用。Turner認爲交易落地後,承諾、解釋或辭職只剩這幾條誠實出路,沉默不算其中之一。他同時提到國防部門曾以經濟後果施壓其他實驗室交出無限制模型。
他將大規模死亡概率單獨量化過:把P(Doom)定義爲2050年前人工智能導致至少十億人死亡的概率,個人估計約25%至30%,其中技術對齊失敗約佔一成,其餘更多來自濫用。他承認對齊研究進展快於自己讀博時的預期,但時間表已被大幅壓縮。
市場機制上,這是人才與信譽事件而非產品發佈:安全崗位的內部否決權失效後,研究者用離職給風險定價;軍用合同與雲業務承接到政府預算,安全品牌溢價被內部證人削弱。受益方是國防採購與算力合同,承壓方是依賴“原則約束”敘事招聘的實驗室治理結構。
Coxon離職後,仍在職的Anthropic對齊負責人亦公開承認存在滅絕風險估計。Turner的附和把“兩邊預訓練人員離場”擴成“安全崗本身也認爲滅世是工作對象”,使一線證詞從能力競賽延伸到治理承諾破裂。
來源:公開信息
ABAB AI 解讀
Turner的軌跡是對齊學術圈進入大廠安全崗再退出:俄勒岡州立大學對齊博士、伯克利人類兼容人工智能中心博士後,再到DeepMind安全研究。他不是預訓練競賽的核心操盤手,而是被僱來設想系統如何失控。6月因五角大樓合同離職,9月再爲Coxon背書,說明兩套危機在他眼裏是同一件事:實驗室一邊承認可能殺死所有人,一邊把模型交給軍用和能力競賽。
資本路徑很清楚。雲與模型接入國防合同,換的是規模化訂單和“合法作戰使用”地位;安全研究拿的是內部預算和原則文本。當合同與2018年反殺手機器人承諾衝突時,資源流向合同。Turner試圖在內部擋下交易失敗後,只能把否決權帶到公司門外。獨立研究接不住同等算力,所以離職改變的是證詞,不是訓練計劃。
類似結構是2018年Google員工反對Maven後公司調整原則文本,以及Anthropic在國防施壓下是否守住紅線的對照。行業階段已從倫理章程擴張進入國家需求綁定:誰能把模型送進保密網,誰就能鎖住下一輪採購。
這屬於監管變化之前的定價權轉移:風險定價權從安全團隊轉到採購合同。機制是原則沒有強制執行條款,一旦國家客戶出價,內部安全崗只能選擇留下執行或離開作證。
ABAB News · 認知定律
安全崗的日常,往往是給滅世風險做工
原則碰到採購,留下的多是解釋
離職證言能定價風險,定不了訓練日程