前Google DeepMind安全研究员Alex Turner公开附和Jacob Coxon
前Google DeepMind安全研究员Alex Turner公开附和Jacob Coxon,称许多研究者相信自己正在建造可能杀死地球上所有人的系统,而思考如何阻止这件事曾是他的日常工作。
Turner于6月离开DeepMind,离职时尚未接下新职,随后转向独立对齐与安全研究。他在公司任职超过两年,工作内容就是评估并试图降低前沿系统带来的灾难性风险。
他此前公开说明离职主因并非抽象口号,而是Google与五角大楼签署人工智能合作、允许将其用于保密行动,且未写入禁止致命自主武器或大规模监视的约束。他称自己在内部争取数月,目睹伦理承诺在压力下失效,签约后无法继续工作。
2018年DeepMind与相关负责人曾承诺不参与、不支持致命自主武器的开发或使用。Turner认为交易落地后,承诺、解释或辞职只剩这几条诚实出路,沉默不算其中之一。他同时提到国防部门曾以经济后果施压其他实验室交出无限制模型。
他将大规模死亡概率单独量化过:把P(Doom)定义为2050年前人工智能导致至少十亿人死亡的概率,个人估计约25%至30%,其中技术对齐失败约占一成,其余更多来自滥用。他承认对齐研究进展快于自己读博时的预期,但时间表已被大幅压缩。
市场机制上,这是人才与信誉事件而非产品发布:安全岗位的内部否决权失效后,研究者用离职给风险定价;军用合同与云业务承接到政府预算,安全品牌溢价被内部证人削弱。受益方是国防采购与算力合同,承压方是依赖“原则约束”叙事招聘的实验室治理结构。
Coxon离职后,仍在职的Anthropic对齐负责人亦公开承认存在灭绝风险估计。Turner的附和把“两边预训练人员离场”扩成“安全岗本身也认为灭世是工作对象”,使一线证词从能力竞赛延伸到治理承诺破裂。
来源:公开信息
ABAB AI 解读
Turner的轨迹是对齐学术圈进入大厂安全岗再退出:俄勒冈州立大学对齐博士、伯克利人类兼容人工智能中心博士后,再到DeepMind安全研究。他不是预训练竞赛的核心操盘手,而是被雇来设想系统如何失控。6月因五角大楼合同离职,9月再为Coxon背书,说明两套危机在他眼里是同一件事:实验室一边承认可能杀死所有人,一边把模型交给军用和能力竞赛。
资本路径很清楚。云与模型接入国防合同,换的是规模化订单和“合法作战使用”地位;安全研究拿的是内部预算和原则文本。当合同与2018年反杀手机器人承诺冲突时,资源流向合同。Turner试图在内部挡下交易失败后,只能把否决权带到公司门外。独立研究接不住同等算力,所以离职改变的是证词,不是训练计划。
类似结构是2018年Google员工反对Maven后公司调整原则文本,以及Anthropic在国防施压下是否守住红线的对照。行业阶段已从伦理章程扩张进入国家需求绑定:谁能把模型送进保密网,谁就能锁住下一轮采购。
这属于监管变化之前的定价权转移:风险定价权从安全团队转到采购合同。机制是原则没有强制执行条款,一旦国家客户出价,内部安全岗只能选择留下执行或离开作证。
ABAB News · 认知定律
安全岗的日常,往往是给灭世风险做工
原则碰到采购,留下的多是解释
离职证言能定价风险,定不了训练日程