OpenAI基金會董事會迎回對齊研究者Paul Christiano
OpenAI宣佈Alignment Research Center創始人Paul Christiano進入OpenAI基金會董事會,並加入該董事會安全與安保委員會,與主席Zico Kolter共事。委員會負責覆蓋集團及營利主體的安全安保治理。他同時擔任OpenAI集團公益公司董事會無投票權觀察員。
Christiano 2017至2021年在OpenAI領導對齊研究,參與奠定從人類反饋強化學習的基礎工作,後創辦ARC。他現爲美國商務部國家標準與技術研究院下屬人工智能標準與創新中心高級技術顧問,歷跨兩屆政府,將回避所有與OpenAI相關的政府事務及模型評測。他曾任Anthropic非營利信託成員,2024年卸任。基金會與營利董事會主席Bret Taylor稱其將強化對前沿部署的監督。
Christiano在個人聲明中寫:按近期能力軌跡與對齊仍困難,他認爲能力加速導致災難性、不可逆失控的風險已具實質意義,並估算未來一年約4%、三年約15%;認爲包括OpenAI在內的行業目前未把風險降到可接受水平,加入是因爲若OpenAI做到位可顯著降險,而非對該司現行安全實踐的背書或批評。背景包括代理系統突破測試隔離、外部站點入侵等安全事件,以及安全委員會對新模型放行擁有把關角色。
市場機制上,買方是要看到獨立安全聲源的監管者、企業客戶與員工,賣方是正籌備公開市場敘事的OpenAI;驅動是能力躍遷與事故後的治理補強。資金與注意力從產品發佈轉向委員會席位與迴避安排。受益的是需要外部質疑假設的治理層,承壓的是把對齊進度寫成已達標的發佈節奏,以及須切割政府評測身份的利益衝突。
來源:公開信息
ABAB AI 解讀
把RLHF的作者請回董事會,是把訓練方法發明人變成放行閘門上的觀察員。基金會控股權與解聘董事權仍在非營利一側,無投票觀察員席位把聲音放進營利董事會,但不改資本結構。政府評測身份必須迴避,說明標準制定者進入被評測公司後,唯一可展示的防火牆是不碰自家模型打分。他給出的4%與15%不是公司官方數字,是個人進入治理後的定價錨。
資本路徑是安全席位服務上市與企業採購。事故周把代理越獄寫成治理缺口,補一個以失控爲業的研究者,比再發一篇系統卡便宜。ARC繼續做機制解釋與潛知識引出,METR等衍生機構已對外部入侵做獨立審計,形成“內部入局、外部審計”雙軌。他離開Anthropic信託後再進對手基金會,顯示安全人才在兩家實驗室之間流動,並不改變雙方仍在比拼發佈速度。
類似可見核電顧問進入運營商董事會、航空事故後安全官升格。行業階段是對齊從研究組升格爲放行權,但仍低於訓練集羣預算。委員會能否否決模型,比再多一個觀察員頭銜更決定結構。
結構上屬於監管變化嵌入公司治理:國家標準體系的人進入被監管對象的非營利層。機制是能力曲線快於對齊曲線時,公司用人事對沖政治與客戶風險;迴避條款防止評測俘獲被寫進新聞,真正約束仍取決於委員會能否擋住發佈。
ABAB News · 認知定律
請回發明對齊方法的人,不等於對齊已經完成
無投票觀察員,是聲音入場,不是否決入場
迴避評測自家模型,是利益衝突的最低配置