斯坦福AI實驗室與伯克利實驗室攜手英偉達提出新模型驗證框架
斯坦福AI實驗室與伯克利Sky Computing實驗室攜手英偉達提出新模型驗證框架“LLM-as-a-Verifier”，用於替代傳統“LLM-as-a-Judge”的AI評判機制。核心創新在於不再使用離散化評分，而讀取模型在各評分級別上的概率分佈，計算連續獎勵值；同時對每個輸出重複評判並取平均，以降低偶然誤差。驗證過程拆分爲任務滿足度、格式正確性與錯誤信號三獨立維度。實測中，Gemini 2.5 Flash作驗證器的準確率爲74.7%，顯著高於傳統Judge的57.0%，重複16次後提升至77.4%。
論文團隊在Terminal‑Bench 2上測試顯示，GPT‑5.4隨機取1解成功率爲81.8%，經Verifier挑選後上升至86.4%；在SWE‑Bench Verified上，結合Claude Opus 4.5、Opus 4.6與Gemini 3 Flash的混合結果亦從76.1%升至77.8%。該框架現已開源，爲多模型協作與自檢提供新標準。
來源：公開信息
ABAB AI 解讀
Verifier框架的出现意味着AI评估逻辑从“裁判分数制”转向“概率信号制”。传统Judge仅给出离散标签，无法刻画模型在边界答案间的差异；Verifier则直接读取信念分布，让对错之间的置信度成为反馈主体。这让AI能理解“正确的概率”，而非单纯模仿人类判决。结构上，这相当于把评估从语言判断转为统计推理。
在更广的技术链条中，这建立了“AI自洽系统”的雏形——生成、比较、验证均可由模型完成，形成闭环学习生态。这样的多运行与自动优选机制，统计上可突破单次模型性能上限。它把AI的进步单位从模型规模转移到评估机制本身，使AI系统具备自我修正与自我选优的能力。
从历史视角看，这是AI发展由“扩张阶段”迈向“循环阶段”的标志事件。前者依赖参数累积提升性能，后者通过结构设计提升质量密度。Verifier代表AI评价体系的制度化转折：算法开始拥有判断自身输出真伪的独立能力——这意味着智能的评估权首次从人交还给模型本身。