Hugging Face創始人警告Agentic LLM訓練陷阱
Hugging Face創始人Clement Delangue表示，目前多數用RL訓練Agentic LLM的團隊存在隱形損壞的訓練循環卻未察覺。
單輪RL表現良好，但加入工具調用後會出現Loss異常飆升和形狀不匹配錯誤，根源在於解析輸出、重新tokenize對話時產生的token round-trip不一致，導致梯度計算錯誤。
市場機制上，AI研究團隊與開源模型開發者加速採用正確的Token-In Token-Out訓練方法；事件驅動資金從問題訓練框架轉向穩定多輪RL工具；Hugging Face及支持正確多輪訓練的框架受益，使用錯誤token處理流程的訓練項目承壓。
來源：公開信息
ABAB AI 解讀
Clement Delangue作爲Hugging Face創始人，長期推動開源LLM訓練最佳實踐，此前多次在多模態與Agent框架上指出工程細節隱患，其團隊本次發佈的深度文章對主流開源模型家族的chat template進行了全面審計。
資本路徑上，Hugging Face團隊將工程資源投入正確Token-In Token-Out實現，通過避免重新編碼已採樣token，消除多輪工具調用中的梯度污染，將訓練效率從隱性浪費轉向可靠收斂，爲大規模Agentic系統開發節省大量計算資源。
類似早期RLHF訓練中出現的reward hacking問題，以及2024-2025年多Agent框架在工具調用時的穩定性挑戰；當前Agentic LLM訓練正處於從單輪實驗向真實多輪工具交互轉型的關鍵階段。
本質屬於技術替代，通過嚴格的Token-In Token-Out規則將存在隱形錯誤的訓練循環替代爲數學一致的流程，機制在於消除decode-encode round-trip引入的噪聲，讓梯度信號真正反映模型採樣行爲，從而顯著提升多輪RL訓練的穩定性和收斂質量。
ABAB News · 認知定律
最危險的bug，從來不是崩潰，而是悄悄給出錯誤的梯度。
單輪漂亮的曲線，往往在多輪工具調用時原形畢露。
真正頂級的工程，不是做出新功能，而是消滅那些看不見的訓練污染。