返回快讯

Hugging Face创始人警告Agentic LLM训练陷阱

Hugging Face创始人Clement Delangue表示,目前多数用RL训练Agentic LLM的团队存在隐形损坏的训练循环却未察觉。

单轮RL表现良好,但加入工具调用后会出现Loss异常飙升和形状不匹配错误,根源在于解析输出、重新tokenize对话时产生的token round-trip不一致,导致梯度计算错误。

市场机制上,AI研究团队与开源模型开发者加速采用正确的Token-In Token-Out训练方法;事件驱动资金从问题训练框架转向稳定多轮RL工具;Hugging Face及支持正确多轮训练的框架受益,使用错误token处理流程的训练项目承压。

来源:公开信息

ABAB AI 解读

Clement Delangue作为Hugging Face创始人,长期推动开源LLM训练最佳实践,此前多次在多模态与Agent框架上指出工程细节隐患,其团队本次发布的深度文章对主流开源模型家族的chat template进行了全面审计。

资本路径上,Hugging Face团队将工程资源投入正确Token-In Token-Out实现,通过避免重新编码已采样token,消除多轮工具调用中的梯度污染,将训练效率从隐性浪费转向可靠收敛,为大规模Agentic系统开发节省大量计算资源。

类似早期RLHF训练中出现的reward hacking问题,以及2024-2025年多Agent框架在工具调用时的稳定性挑战;当前Agentic LLM训练正处于从单轮实验向真实多轮工具交互转型的关键阶段。

本质属于技术替代,通过严格的Token-In Token-Out规则将存在隐形错误的训练循环替代为数学一致的流程,机制在于消除decode-encode round-trip引入的噪声,让梯度信号真正反映模型采样行为,从而显著提升多轮RL训练的稳定性和收敛质量。

ABAB News · 认知定律

最危险的bug,从来不是崩溃,而是悄悄给出错误的梯度。
单轮漂亮的曲线,往往在多轮工具调用时原形毕露。
真正顶级的工程,不是做出新功能,而是消灭那些看不见的训练污染。