OpenAI審計SWE-Bench Pro，約三成題目不適合評測
OpenAI發佈編程評測審計報告，稱SWE-Bench Pro約三成題目不適合作爲有效評測，該集此前被推薦替代SWE-bench Verified。
審計731道公開題，自動標出27.4%、人工發現34.1%問題，主要包括描述不完整、測試過嚴、覆蓋不足，導致模型跑分失真。
前沿模型通過率8個月從23.3%升至80.3%，但OpenAI撤回採用建議，呼籲社區重建更可信編程評測。
來源：公開信息
ABAB AI 解讀
OpenAI此前推薦SWE-Bench Pro用於評估AI Agent編程能力，此次自審發現問題反映其在基準測試透明度上的自我糾正，延續對評測可靠性的高標準要求。
資本路徑上，審計推動社區重建基準，資源從現有 noisy 數據集轉向更嚴謹評測開發，動機在於避免跑分泡沫，戰略上維持OpenAI在AI Agent領域的領導敘事。
類似HumanEval等早期基準迭代，以及其他前沿實驗室對評測集的批評，當前處於AI編程評測從快速迭代向高質量可信標準轉型階段。
本質屬於技術替代與監管變化：噪聲題目導致通過率失真，機制上源於評測設計滯後於模型進步，促使定價權向構建可靠基準的機構轉移並加速行業評測治理規範化。
ABAB News · 認知定律
評測噪聲大過模型能力，基準質量決定AI進步真實度。
自審撤回即行業責任，前沿實驗室定義可信標準。
8個月80%漲分需謹慎，重建評測重塑編程Agent賽道。