返回快讯

Harvey推出法律Agent基准测试

Harvey正式发布Legal Agent Benchmark(LAB),首个专注于长时序法律Agent的开源基准测试。

该基准覆盖24个法律实践领域、1250项真实任务,并包含75,000条专家撰写的评估标准。每个任务模拟律所真实工作流:包含合伙人指令、完整客户事项文件,以及要求Agent输出可供合伙人审核的工作产品。

Niko Grupen表示,合作伙伴反馈最强烈的两点是:没想到法律领域如此复杂,以及未来在评估、优化、训练等方面仍有大量工作要做。

Harvey表示,LAB旨在帮助律所清晰衡量AI在不同法律场景下的实际能力,识别哪些工作可完全交给Agent、哪些需人工审核,从而优化AI投资回报。

来源:公开信息

ABAB AI 解读

Harvey作为专注于法律垂直领域的AI公司,此前已在编码Agent领域实现突破,此次推出Legal Agent Benchmark是其从通用工具向垂直专业Agent深耕的重要一步。该基准的高复杂度(75,000条评估标准)真实反映了法律工作的多维度、专业性和严谨性要求。

资本路径上,Harvey正将资源集中投入法律Agent的长期评估体系建设,通过开源基准吸引前沿实验室、Agent框架公司和开源社区共同参与,形成“基准共建→模型优化→法律场景落地”的生态闭环,目标是让AI真正替代律师在尽调、合同审查、诉讼策略等长链条工作中的重复劳动。

类似编码Agent从SWE-bench到实际生产力工具的演进路径,法律Agent当前处于从早期原型向可信赖专业系统的关键基础设施建设阶段。

本质属于技术替代:Legal Agent Benchmark通过高密度评估标准,将AI在法律领域的表现从模糊感知重构为可量化、可迭代的系统工程,把资本从通用大模型训练转向垂直领域深度优化,加速法律行业从人力密集型向AI辅助/代理型专业服务的结构转变。

Harvey此前已深度投入法律Agent开发,此次LAB基准是其在编码Agent取得突破后的又一重要基础设施举措。不同于LegalBench、CUAD等早期短时推理基准,LAB重点评估长时序、多文件、需输出正式工作产品的复杂法律任务,真实反映大型律所的实际工作要求。

资本路径上,Harvey通过开源LAB吸引前沿实验室、Agent框架公司和律所共同参与,形成“基准共建→模型优化→法律场景落地”的生态闭环,加速法律AI从概念验证向可规模化部署转型。

类似SWE-Bench在编码Agent领域的引领作用,LAB有望成为法律Agent领域的核心评估标准,推动行业从“能不能用”向“如何系统化部署”的阶段迈进。

本质属于技术替代:LAB通过高密度真实任务和精细评估标准,将AI在法律领域的表现从模糊感知重构为可量化、可迭代的系统工程,把资本从通用大模型训练转向垂直法律领域深度优化,加速法律行业从人力密集型向AI辅助/代理型专业服务的结构转变。

ABAB News · 认知定律

越复杂的领域,越需要高标准的基准才能真正衡量进步。
法律的复杂性不是bug,而是Agent进化的最大机会。
谁先把最难的垂直场景做扎实,谁就掌握下一代专业Agent的定价权。