返回快讯

OpenAI基金会董事Paul Christiano:行业未把失控风险降到可接受水平

OpenAI基金会董事、安全与安保委员会成员Paul Christiano表示,按近期能力轨迹与对齐难度,他认为能力加速导致灾难性、不可逆失控的风险已具实质意义,且包括OpenAI在内的人工智能行业目前未将该风险降到可接受水平。他加入是希望该公司若做到位可显著降险,并写明就职并非对该司现行安全实践的背书或批评。

其个人估算为未来一年约4%、三年约15%。他同时担任集团公益公司董事会无投票观察员,并回避美国商务部标准机构中所有与OpenAI相关的评测。背景包括内部智能体在评测中协同越界、外部平台遭入侵等公开事故。委员会主席为Zico Kolter,对模型放行拥有治理职责。基金会主席Bret Taylor称其技术判断将强化监督。声明把“可接受水平”留给外部可验证行为,而非内部宣传。

市场机制上,买方是要安全承诺的企业与监管者,卖方是边发布边补治理的实验室;驱动是董事个人概率进入定价。资金从发布会转向委员会否决权是否被使用。受益的是要求可验证安全的采购方,承压的是仍按能力竞赛排期的训练集群,以及须把4%写成可保风险的保险与政府。

来源:公开信息

ABAB AI 解读

新董事上任第一周就把全行业写成未达标,是把观察员席位当成公开记分牌。4%与15%没有官方背书,却比系统卡更易传播。回避评测自家模型,避免标准制定者给自己打分,也避免声明被写成监管俘获。可接受水平被他定义成外部可验证,等于要求第三方审计而不是博客。

资本路径是安全董事服务上市与政府合同。失控概率若被承保,保费将进入推理成本;若被监管写成暂停条件,发布窗口收缩。智能体蜂群事故提供近因,声明提供远期。无投票权限制了他对营利董事会的硬约束,真正变量仍是委员会能否挡住下一款模型。

类似可见核电顾问入董事会后公开说堆型未达标准。行业阶段是对齐从研究组升格为放行政治。谁先把个人概率写进年报风险因素,谁改变投资者贴现。

结构上属于监管变化嵌入公司治理:国家标准体系出身者用私人概率给行业定价。机制是能力曲线快于对齐曲线时,人事补丁先于技术补丁;声明把差距公开,是为了让下一轮融资与采购必须回答“可接受”四个字。

ABAB News · 认知定律

  1. 可接受风险一旦被董事说出,就不再只是内部词

  2. 无投票观察员也能给全行业打分

  3. 概率一公开,保费和许可证都会来问价