返回快讯

三名Anthropic研究员公开警示十年内存在毁灭人类的真实风险

Anthropic三名一线研究者同夜公开警告:前沿实验室正冲向可能失控的超级智能,并认为本十年内存在毁灭人类的真实风险。

预训练研究员Jacob Coxon宣布辞职,称自己三年间先后在OpenAI与Anthropic做预训练,两家都未负责任行事,正竞速自我改进的超级智能。他对华尔街日报表示,按更激进情景,到明年年底就可能已失控。

仍在职的对齐科学负责人Evan Hubinger公开附和,称同事确实相信人工智能可能杀死所有人,他个人估计未来十年该概率高于10%。他区分现有模型风险仍低,真正担心的是递归自我改进带来的超级智能,并称进展快于原先判断。

安全研究员Samuel Marks以个人身份发声,称Coxon的叙述值得阅读;开发者相信技术可能导致灭绝或同等严重后果,且职级越高、担忧越重。Hubinger同时写明:公司在尽力,但尚无解决超级智能对齐的方案,也谈不上已走上该轨道。

Coxon把OpenAI描述为尚未内化文明级赌注,把Anthropic描述为看清风险却因认定对手不会停手而抢先进入终局。他主张美国实验室可做节奏协议,全球竞赛或需暂时禁止继续提升模型能力。

市场机制上,这是声誉与人才事件:安全溢价被内部证人改写,训练与融资日程仍由算力竞赛定价。受益方是监管讨论、停训倡议和风险对冲叙事;承压方是依赖“更负责任实验室”品牌融资与招人的Anthropic,以及同行的安全沟通口径。资金不会因帖文停建集群,但保险、政策与企业采购会重新给灭绝概率标价。

三人发言叠在Anthropic更早的安全保障负责人离职、以及OpenAI首席科学家承认对齐尚未解决之后,把私下恐惧写成可引用的公开概率。

来源:公开信息

ABAB AI 解读

Anthropic靠前OpenAI安全派立身,现在被自己的预训练、对齐和安全岗同时作证:风险被承认,方案不被承认。Coxon提供能力侧证人,Hubinger提供官方对齐编制内的概率,Marks提供职级与恐惧正相关。三点连成一条链:知道得越多的人越不相信赛跑可 internally 刹车。

资本继续按模型代际和云合同投放,对齐预算是配套项。Hubinger说“没有超级智能对齐计划且不在轨道上”,等于把安全部门从刹车改成旁白。实验室仍加预训练,是因为停手等于把定义下一代系统的权利交给对手。资源锁在算力和发布窗口,证词只能改舆论,不能改训练队列。

对照Sharma离职、Leike离开OpenAI、Turner离开DeepMind:安全岗退出或公开唱反调,已成为行业固定出口。阶段从安全品牌扩张进入自我证伪:对外仍卖负责任,对内承认终局被私人公司日程推动。

这属于技术替代尚未完成时的治理真空:灭绝概率被内部定价,决策权仍在竞赛结构里。机制是承认风险不产生否决权,否决权只存在于谁先跑出自我改进。

ABAB News · 认知定律

  1. 承认风险的人,不一定握有刹车

  2. 职级越高越怕,说明信息在上层更全

  3. 没有对齐计划的赛跑,计划本身就是继续跑