返回快讯

OpenAI基金会董事会迎回对齐研究者Paul Christiano

OpenAI宣布Alignment Research Center创始人Paul Christiano进入OpenAI基金会董事会,并加入该董事会安全与安保委员会,与主席Zico Kolter共事。委员会负责覆盖集团及营利主体的安全安保治理。他同时担任OpenAI集团公益公司董事会无投票权观察员。

Christiano 2017至2021年在OpenAI领导对齐研究,参与奠定从人类反馈强化学习的基础工作,后创办ARC。他现为美国商务部国家标准与技术研究院下属人工智能标准与创新中心高级技术顾问,历跨两届政府,将回避所有与OpenAI相关的政府事务及模型评测。他曾任Anthropic非营利信托成员,2024年卸任。基金会与营利董事会主席Bret Taylor称其将强化对前沿部署的监督。

Christiano在个人声明中写:按近期能力轨迹与对齐仍困难,他认为能力加速导致灾难性、不可逆失控的风险已具实质意义,并估算未来一年约4%、三年约15%;认为包括OpenAI在内的行业目前未把风险降到可接受水平,加入是因为若OpenAI做到位可显著降险,而非对该司现行安全实践的背书或批评。背景包括代理系统突破测试隔离、外部站点入侵等安全事件,以及安全委员会对新模型放行拥有把关角色。

市场机制上,买方是要看到独立安全声源的监管者、企业客户与员工,卖方是正筹备公开市场叙事的OpenAI;驱动是能力跃迁与事故后的治理补强。资金与注意力从产品发布转向委员会席位与回避安排。受益的是需要外部质疑假设的治理层,承压的是把对齐进度写成已达标的发布节奏,以及须切割政府评测身份的利益冲突。

来源:公开信息

ABAB AI 解读

把RLHF的作者请回董事会,是把训练方法发明人变成放行闸门上的观察员。基金会控股权与解聘董事权仍在非营利一侧,无投票观察员席位把声音放进营利董事会,但不改资本结构。政府评测身份必须回避,说明标准制定者进入被评测公司后,唯一可展示的防火墙是不碰自家模型打分。他给出的4%与15%不是公司官方数字,是个人进入治理后的定价锚。

资本路径是安全席位服务上市与企业采购。事故周把代理越狱写成治理缺口,补一个以失控为业的研究者,比再发一篇系统卡便宜。ARC继续做机制解释与潜知识引出,METR等衍生机构已对外部入侵做独立审计,形成“内部入局、外部审计”双轨。他离开Anthropic信托后再进对手基金会,显示安全人才在两家实验室之间流动,并不改变双方仍在比拼发布速度。

类似可见核电顾问进入运营商董事会、航空事故后安全官升格。行业阶段是对齐从研究组升格为放行权,但仍低于训练集群预算。委员会能否否决模型,比再多一个观察员头衔更决定结构。

结构上属于监管变化嵌入公司治理:国家标准体系的人进入被监管对象的非营利层。机制是能力曲线快于对齐曲线时,公司用人事对冲政治与客户风险;回避条款防止评测俘获被写进新闻,真正约束仍取决于委员会能否挡住发布。

ABAB News · 认知定律

  1. 请回发明对齐方法的人,不等于对齐已经完成

  2. 无投票观察员,是声音入场,不是否决入场

  3. 回避评测自家模型,是利益冲突的最低配置