Google Logan Kilpatrick：做AI產品應把四分之一時間花在基準
Logan Kilpatrick稱，若在用人工智能做產品，應把超過25%的時間用來做基準測試，並設法讓模型實驗室在乎這些基準，這是公司加速進展的最容易路徑。
他現就職Google，負責Gemini、Google AI Studio和接口相關工作，此前在OpenAI。數月前他就公開說過：每家用模型做產品的公司都應自建評測集，讓模型迭代“不成比例地有利於自己”，並點過Zapier、Sierra等已在做的公司。公開榜單測的是通用能力，合同審閱公司真正要的是條款抽取對不對，榜單測不到。
實驗室會爲進入評測集而調模型。誰把業務任務寫成可復現、可對比的題目，誰就有機會在下一輪發布里被優化到。公開基準的阿爾法被他說成仍然很大，因爲好題目稀缺，實驗室也缺垂直場景的壓力測試。
買盤是要把評測權從通用榜單奪回自己場景的應用公司；賣盤是繼續只看Arena和MMLU選模型的團隊。事件驅動是實驗室內部人士把時間分配比例說死。受益的是能把私有評測反饋給Gemini、OpenAI、Anthropic的產品團隊；承壓的是隻跟公開第一名綁定的套殼產品。
市場交易的是評測定義權，不是又一句加班口號。
來源：公開信息
ABAB AI 解讀
Kilpatrick在模型分發側，見過應用公司怎麼選模型和實驗室怎麼排期。他給的25%不是工程雞湯，是承認通用榜和垂直產品之間的錯位已經大到必須單獨立項。實驗室優化目標函數跟着可發表、可對比的評測走；應用公司若拿不出題目，就只能等下一版碰巧變好。Zapier和客服智能體公司自建評測，是把“我們的工作流”翻譯成實驗室能跑的分數。
資本路徑是把一部分產品人力從功能堆砌改成出題、標註、防泄漏和遊說。成本是數據集維護；收益是每次基座升級時自動撿到針對性增益，並在採購時用自己的分數而不是公榜壓價。誰能讓實驗室把某條評測寫進內部迴歸，誰就提前鎖定下一代模型的方向。
對照對象是ImageNet重塑視覺、GLUE重塑語言、LMSYS Arena重塑對話觀感。垂直基準若做成行業事實標準，會接近Bloomberg對金融NLP、SAE對汽車安全的位置。當前階段是應用層從“選最強模型”轉向“定義何爲強”。
結構判斷屬於定價權轉移。模型好壞的定價權從公開榜單轉到場景題目。機制是：實驗室的訓練和發佈被可量化分數牽引；誰出題，誰就規定下一輪算力往哪用。25%的時間是入場費，換的是讓別人的研發預算爲你的產品工作。
ABAB News · 認知定律
誰出題，誰就規定下一輪模型往哪優化
公開榜單測通用能力，收入來自測不到的那一段
讓實驗室在乎你的基準，比催他們出更大模型更便宜