Xero AI负责人：衡量AI代理必须先固守质量层，再看产品指标，最后才谈业务影响

Xero AI负责人Lisa Huang分享其金融超级代理Jax的评估体系，分三层且顺序不可颠倒：第一层质量（是否正确完成任务），靠人类标注员提供ground truth、LLM judge提供规模化、evals提供跨场景一致框架，三者缺一不可；第二层产品指标，包括采用率、使用频率、留存、CSAT，以及社交媒体、客服票据、用户对话等定性信号；第三层才是业务影响，如营收归因、留存贡献、ARR增量。

这一框架迅速传播，因为它直接戳破AI PM常见误区：在金融领域精度到小数点都至关重要，Lisa团队用多代理工作流结合LLM灵活性+程序化代码确定性控制，确保质量层稳固后再向上归因，否则可能把30%错误率的代理当成功能贡献营收，直到客户流失才发现，凸显“先对再快再赚钱”的顺序铁律，尤其对服务400万家企业的18亿美元平台，质量崩盘等于信任崩盘。

Lisa强调定期追踪质量投资回报（哪些gap关闭了哪些指标提升），并从用户真实反馈中捕捉仪表盘看不到的信号，这一三层模型已成为Xero内部决策基石，也被视为金融AI产品化的可复制模板。

来源：公开信息