Sam Altman確認OpenAI已實驗純合成數據訓練模型
OpenAI CEO Sam Altman在《大西洋月刊》CEO Nicholas Thompson播客中表示,GPT-4是最後一個幾乎未使用AI生成數據訓練的模型。
Thompson指出網絡已充斥AI內容,Altman點頭同意。被問及是否運行過完全用合成數據(AI輸出訓練下一代)訓練的模型時,Altman猶豫後暗示已做過實驗。
Altman認爲,模型核心是推理能力,純合成數據完全能實現數學等任務,甚至超越人類;但理解人類價值觀與文化仍需真實人類數據。
來源:公開信息
ABAB AI 解讀
Sam Altman此前多次公開推動合成數據規模化,早前OpenAI已用GPT-4o等模型輸出生成訓練數據,此次播客間接確認純合成數據閉環實驗,延續其從“人類數據依賴”向“合成數據主導”訓練路徑的轉變,尤其在高質量人類數據日益稀缺的背景下。
資本路徑上,OpenAI通過合成數據降低對外部數據採集與標註的依賴,同時保留核心人類文化數據用於對齊訓練,形成“海量合成推理數據+精選人類價值觀數據”的混合成本結構,大幅壓縮下一代模型訓練開支並加速迭代週期。
類似Google DeepMind用AlphaGo自我對弈純合成數據超越人類,此次OpenAI處於大模型訓練從“人類數據主導”向“合成數據主導推理+人類數據守住對齊”轉型的中期,Altman明確數學等可純合成,而價值觀需人類數據。
本質屬於技術替代:傳統依賴海量真實人類文本數據的訓練範式被合成數據閉環替代,Altman的實驗顯示推理能力可通過AI自我迭代實現突破,僅將人類數據用於文化與價值觀錨定,重構AI訓練從“數據飢渴”向“合成自舉+少量人類精煉”的效率機制。
OpenAI