Harvey Legal Agent BenchmarkLAB法律AI评估从读题测验走向真实工作核心定位填补一个具体的评估空白当前法律 AI 评估领域正处于一次范式切换的门口。Harvey 推出的Legal Agent BenchmarkLAB所填补的是一个在此之前长期存在、却少有人正视的空白现有法律 AI 基准——无论是斯坦福 HazyResearch 主导的LegalBench162 个任务以问答/分类为主还是 Harvey 自家此前发布的BigLaw Bench以 billable work 为基础的单次任务评估——本质上都在测法律知识点的单步推理而非完成一份律师实际工作产品的全程能力。LAB 的出发点与 SWE-Bench 对软件工程评估的颠覆逻辑相同把评估标的从离散的能力测试转向真实的端到端工作流。这是一次有方向的范式升级但距离彻底解决法律 AI 评估还有很长的路。关键机制最巧妙的那个设计决策LAB 最核心的设计哲学不是任务数量多1,671 个也不是覆盖面广24 个实践领域而是它的评分机制——全通过All-Pass评分。具体而言每一个任务都有一套由律师手写的原子级二元标准pass/fail。整个任务只有在所有标准均通过时才算通过不存在答对 8/10 算 80 分的部分得分。这个设计看似严苛实则精准对应了法律实践的核心逻辑——合同审查时遗漏一条风险条款那份报告等于没用哪怕其余 57 条都对。All-Pass 评分把法律工作不能有错误的容错率逻辑直接编码进了评分体系。辅以此的是环境封闭设计每个任务都是一个封闭的客户事务宇宙包含相关和无关文档的混合Agent 必须在其中识别和处理信息这直接模拟了律所数据室的真实条件。以典型任务为例——$458M MA 控制权条款分析输入一个虚拟数据室含约 8 份材料合同 周边文档要求输出一份给交易团队的备忘录含执行摘要、风险映射、逐合同分析、严重性评级、缓解建议评分标准9 个法律问题下的 57 条标准涵盖事实认定、法律结论、引用准确性、财务敞口计算和建议可操作性这比 LegalBench 的输入合同条款→判断是否存在私权诉因要复杂一个量级。历史对比比前一代基准好在哪牺牲了什么维度LegalBench斯坦福BigLaw BenchHarvey 前代LABHarvey 新版任务数量162有限以实际 billable 记录为基础1,671任务类型问答/分类单步单次任务型多步骤、端到端工作产品评分方式准确率accuracy答案质量 来源可靠性双评分All-Pass 全通过来源学术协作40 位贡献者实际 billable 工时记录律师模拟真实合伙人-助理任务语境封闭性低单文档/单问题中等高数据室/多文档环境LAB 的优势更接近真实工作全通过评分高压迫近了法律实践的实际标准。LAB 的牺牲All-Pass 使得低分高度密集早期结果见下方交叉验证显示即使是顶级模型全通过率也只有 13-17%容易造成所有模型都很差的感知不利于精细区分模型进步。此外任务由 Harvey 自身团队设计评判者也是 Harvey 的 LLM judge自评体系的中立性有潜在争议。交叉验证信源 1斯坦福 HazyResearch LegalBench 官网直接证实了 Harvey 原文的核心前提现有法律基准LegalBench 本身确实只覆盖离散任务如 hearsay 判断、CUAD 合同条款提取不评估端到端工作流执行能力。LegalBench 官网明确描述自己是legal reasoning tasks而非real legal work这与 Harvey 博客中prior benchmarks test short-horizon reasoning的批判完全吻合形成正向印证。信源 2CSDN/gabormelli 关于 BigLaw Bench 与 LAB 模型评分的报道从 CSDN 技术社区和 gabormelli.com 的独立整理中可以找到早期评测数据Anthropic 的 Fable 5 在 LAB 保留集上的全通过率仅为13.3%Mythos 5 在公开集上全通过率约16.91%平均单标准通过率约 92%——这意味着即便每一步都对All-Pass 的累积乘法效应仍使整体通过率极低。这些数据补充了 Harvey 官方博客尚未公开排行榜时缺失的具体数字同时也部分验证了 All-Pass 机制的高压性质平均标准通过率 92% 算不错但全任务通过率仅约 15%反映了法律工作全局正确的极高门槛。BigLaw Bench 上 GPT-5 达到 89.22%单步任务评分与 LAB 的 13-17% 全通过率形成鲜明对比两个数字并不矛盾而是描述了不同评估维度。我的推演判断基于机制和对比可以做出以下独立推断非转述原文All-Pass 机制会成为法律 AI 进步的显性标尺但短期内会制造模型都很差的舆论效应。预计未来版本会补充部分通过分数作为辅助指标同时保留全通过率作为最高标准。Harvey 将这个基准开源并拉来 Anthropic/OpenAI/Google DeepMind 联署本质是一步生态战略棋——谁在这个基准上刷高了分就变相为 Harvey 平台做了背书。这个基准既是行业标准也是 Harvey 的营销工具二者不矛盾但值得清醒认知。LegalBench 不会消亡它的细粒度任务仍有学术价值LAB 与它的关系更像IQ测试 vs. 实习考核——两者评估不同层次的能力。未来法律 AI 评估体系很可能是分层的知识/推理层LegalBench 类 工作流执行层LAB 类 结果质量层律师盲审。局限与边界不要被以下几点过度说服任务的真实性有限文档是虚构构建的fictional $458M acquisition而非真实匿名案件。真实法律工作中的信息不完整性、客户沟通的模糊性、证据突发变化等要素LAB 暂时无法模拟。自评体系值得审视LAB 使用 LLM judge 评判 agent 输出虽然原始 rubric 由人类律师编写但最终判定仍由模型完成。Harvey 同时是基准设计者和参赛者这在任何同类基准包括 BigLaw Bench中都是潜在的中立性问题。覆盖的是精英法律工作24 个实践领域都是 BigLaw 核心业务LAB 对公益法、小额法庭、法律援助等场景没有代表性不适用于评估面向普通用户的法律 AI 工具。任务引用年份是 2026citation 中标注year 2026说明这是一个仍在演进的活体基准当前结论随时可能因任务集扩充而改变不宜将任何早期排名视为定论。代码示例典型任务结构简化版{ task_id: ma_coc_analysis_001, practice_area: MA / Transactional, instructions: Review the attached data room and prepare a deal-team memo identifying change-of-control provisions that may be triggered by the proposed $458M acquisition., environment: { documents: [purchase_agreement.pdf, license_agreements/, employment_contracts/, adjacent_emails/], type: closed_universe }, output_type: legal_memo, rubric: { total_criteria: 57, scoring_method: all_pass, categories: [ factual_accuracy, legal_conclusions, citation_precision, financial_exposure_calculation, mitigation_recommendations ] } }# 运行评估的基本流程参考 docs/tutorial.md git clone https://github.com/harveyai/harvey-labs cd harvey-labs # 配置你的 agent adapter cp config/adapter.example.yaml config/adapter.yaml # 在单个任务上运行 agent python harness/run.py --task tasks/ma_coc_001 --agent gpt4o # 查看得分报告 python harness/report.py --run-id run_id个人启发对开发者和决策者的实际建议对 AI 工程师 / 研究者LAB 是目前最贴近真实法律工作流的开源评估工具。如果你在构建法律 Agent不要只用 LegalBench 调参——LegalBench 的高分不代表 Agent 能完成真实交付物。建议将 LAB 的 rubric 设计方法原子级 binary 标准 All-Pass借鉴到自己产品的内部评测中它的思路可泛化到任何专业服务类 AI场景医疗报告、财务分析。对法律科技决策者 / 律所技术负责人LAB 给了你一个可以用同一把尺子量不同模型的工具。重点看全通过率而非单标准通过率——一个模型 92% 单标准准确但只有 13% 全任务通过意味着它不能独立完成工作只能作为辅助工具而非自动化工具。在自动化决策上All-Pass 率是更诚实的参考指标。对普通用户LAB 的存在意味着法律 AI 的能力正在变得可测量、可比较这是行业走向成熟的信号。但目前最强模型仍只有约 15% 的全任务通过率意味着高风险法律工作仍不能无人值守地交给 AI——这不是过度谨慎而是 LAB 数据本身告诉你的结论。延伸思考All-Pass 与部分通过的张力全通过率极低会让用户产生AI 一无是处的误判而平均标准通过率 92% 又可能被用于过度包装产品能力。法律 AI 评估是否需要引入风险加权评分——遗漏高风险条款的惩罚远大于遗漏低风险条款这套评分体系如何在严苛与可用之间找到平衡谁来维护中立性Harvey 既设计基准、也参赛竞争这在 SWE-Bench由学术机构设计中不存在的利益冲突在 LAB 中是真实存在的。随着更多模型跑出成绩法律 AI 领域是否需要一个类似 MLCommons 的中立第三方来托管和维护这类基准从评估到部署的最后一公里LAB 测的是Agent 是否能生产出符合标准的工作成果但律所真正关心的是这个 AI 的错误是否是系统性的、可预测的、在哪类任务上会失败。未来基准能否从通过/失败进化到失败原因分类——帮助律所判断哪些任务可以安全自动化、哪些必须人工审核 参考来源GitHub - harveyai/harvey-labs: A benchmark built to evaluate and improve agent capabilities for supporting legal work. · GitHub Harvey Legal Agent Benchmark（LAB）：法律AI评估从“读题测验“走向“真实工作“
Harvey Legal Agent BenchmarkLAB法律AI评估从读题测验走向真实工作核心定位填补一个具体的评估空白当前法律 AI 评估领域正处于一次范式切换的门口。Harvey 推出的Legal Agent BenchmarkLAB所填补的是一个在此之前长期存在、却少有人正视的空白现有法律 AI 基准——无论是斯坦福 HazyResearch 主导的LegalBench162 个任务以问答/分类为主还是 Harvey 自家此前发布的BigLaw Bench以 billable work 为基础的单次任务评估——本质上都在测法律知识点的单步推理而非完成一份律师实际工作产品的全程能力。LAB 的出发点与 SWE-Bench 对软件工程评估的颠覆逻辑相同把评估标的从离散的能力测试转向真实的端到端工作流。这是一次有方向的范式升级但距离彻底解决法律 AI 评估还有很长的路。关键机制最巧妙的那个设计决策LAB 最核心的设计哲学不是任务数量多1,671 个也不是覆盖面广24 个实践领域而是它的评分机制——全通过All-Pass评分。具体而言每一个任务都有一套由律师手写的原子级二元标准pass/fail。整个任务只有在所有标准均通过时才算通过不存在答对 8/10 算 80 分的部分得分。这个设计看似严苛实则精准对应了法律实践的核心逻辑——合同审查时遗漏一条风险条款那份报告等于没用哪怕其余 57 条都对。All-Pass 评分把法律工作不能有错误的容错率逻辑直接编码进了评分体系。辅以此的是环境封闭设计每个任务都是一个封闭的客户事务宇宙包含相关和无关文档的混合Agent 必须在其中识别和处理信息这直接模拟了律所数据室的真实条件。以典型任务为例——$458M MA 控制权条款分析输入一个虚拟数据室含约 8 份材料合同 周边文档要求输出一份给交易团队的备忘录含执行摘要、风险映射、逐合同分析、严重性评级、缓解建议评分标准9 个法律问题下的 57 条标准涵盖事实认定、法律结论、引用准确性、财务敞口计算和建议可操作性这比 LegalBench 的输入合同条款→判断是否存在私权诉因要复杂一个量级。历史对比比前一代基准好在哪牺牲了什么维度LegalBench斯坦福BigLaw BenchHarvey 前代LABHarvey 新版任务数量162有限以实际 billable 记录为基础1,671任务类型问答/分类单步单次任务型多步骤、端到端工作产品评分方式准确率accuracy答案质量 来源可靠性双评分All-Pass 全通过来源学术协作40 位贡献者实际 billable 工时记录律师模拟真实合伙人-助理任务语境封闭性低单文档/单问题中等高数据室/多文档环境LAB 的优势更接近真实工作全通过评分高压迫近了法律实践的实际标准。LAB 的牺牲All-Pass 使得低分高度密集早期结果见下方交叉验证显示即使是顶级模型全通过率也只有 13-17%容易造成所有模型都很差的感知不利于精细区分模型进步。此外任务由 Harvey 自身团队设计评判者也是 Harvey 的 LLM judge自评体系的中立性有潜在争议。交叉验证信源 1斯坦福 HazyResearch LegalBench 官网直接证实了 Harvey 原文的核心前提现有法律基准LegalBench 本身确实只覆盖离散任务如 hearsay 判断、CUAD 合同条款提取不评估端到端工作流执行能力。LegalBench 官网明确描述自己是legal reasoning tasks而非real legal work这与 Harvey 博客中prior benchmarks test short-horizon reasoning的批判完全吻合形成正向印证。信源 2CSDN/gabormelli 关于 BigLaw Bench 与 LAB 模型评分的报道从 CSDN 技术社区和 gabormelli.com 的独立整理中可以找到早期评测数据Anthropic 的 Fable 5 在 LAB 保留集上的全通过率仅为13.3%Mythos 5 在公开集上全通过率约16.91%平均单标准通过率约 92%——这意味着即便每一步都对All-Pass 的累积乘法效应仍使整体通过率极低。这些数据补充了 Harvey 官方博客尚未公开排行榜时缺失的具体数字同时也部分验证了 All-Pass 机制的高压性质平均标准通过率 92% 算不错但全任务通过率仅约 15%反映了法律工作全局正确的极高门槛。BigLaw Bench 上 GPT-5 达到 89.22%单步任务评分与 LAB 的 13-17% 全通过率形成鲜明对比两个数字并不矛盾而是描述了不同评估维度。我的推演判断基于机制和对比可以做出以下独立推断非转述原文All-Pass 机制会成为法律 AI 进步的显性标尺但短期内会制造模型都很差的舆论效应。预计未来版本会补充部分通过分数作为辅助指标同时保留全通过率作为最高标准。Harvey 将这个基准开源并拉来 Anthropic/OpenAI/Google DeepMind 联署本质是一步生态战略棋——谁在这个基准上刷高了分就变相为 Harvey 平台做了背书。这个基准既是行业标准也是 Harvey 的营销工具二者不矛盾但值得清醒认知。LegalBench 不会消亡它的细粒度任务仍有学术价值LAB 与它的关系更像IQ测试 vs. 实习考核——两者评估不同层次的能力。未来法律 AI 评估体系很可能是分层的知识/推理层LegalBench 类 工作流执行层LAB 类 结果质量层律师盲审。局限与边界不要被以下几点过度说服任务的真实性有限文档是虚构构建的fictional $458M acquisition而非真实匿名案件。真实法律工作中的信息不完整性、客户沟通的模糊性、证据突发变化等要素LAB 暂时无法模拟。自评体系值得审视LAB 使用 LLM judge 评判 agent 输出虽然原始 rubric 由人类律师编写但最终判定仍由模型完成。Harvey 同时是基准设计者和参赛者这在任何同类基准包括 BigLaw Bench中都是潜在的中立性问题。覆盖的是精英法律工作24 个实践领域都是 BigLaw 核心业务LAB 对公益法、小额法庭、法律援助等场景没有代表性不适用于评估面向普通用户的法律 AI 工具。任务引用年份是 2026citation 中标注year 2026说明这是一个仍在演进的活体基准当前结论随时可能因任务集扩充而改变不宜将任何早期排名视为定论。代码示例典型任务结构简化版{ task_id: ma_coc_analysis_001, practice_area: MA / Transactional, instructions: Review the attached data room and prepare a deal-team memo identifying change-of-control provisions that may be triggered by the proposed $458M acquisition., environment: { documents: [purchase_agreement.pdf, license_agreements/, employment_contracts/, adjacent_emails/], type: closed_universe }, output_type: legal_memo, rubric: { total_criteria: 57, scoring_method: all_pass, categories: [ factual_accuracy, legal_conclusions, citation_precision, financial_exposure_calculation, mitigation_recommendations ] } }# 运行评估的基本流程参考 docs/tutorial.md git clone https://github.com/harveyai/harvey-labs cd harvey-labs # 配置你的 agent adapter cp config/adapter.example.yaml config/adapter.yaml # 在单个任务上运行 agent python harness/run.py --task tasks/ma_coc_001 --agent gpt4o # 查看得分报告 python harness/report.py --run-id run_id个人启发对开发者和决策者的实际建议对 AI 工程师 / 研究者LAB 是目前最贴近真实法律工作流的开源评估工具。如果你在构建法律 Agent不要只用 LegalBench 调参——LegalBench 的高分不代表 Agent 能完成真实交付物。建议将 LAB 的 rubric 设计方法原子级 binary 标准 All-Pass借鉴到自己产品的内部评测中它的思路可泛化到任何专业服务类 AI场景医疗报告、财务分析。对法律科技决策者 / 律所技术负责人LAB 给了你一个可以用同一把尺子量不同模型的工具。重点看全通过率而非单标准通过率——一个模型 92% 单标准准确但只有 13% 全任务通过意味着它不能独立完成工作只能作为辅助工具而非自动化工具。在自动化决策上All-Pass 率是更诚实的参考指标。对普通用户LAB 的存在意味着法律 AI 的能力正在变得可测量、可比较这是行业走向成熟的信号。但目前最强模型仍只有约 15% 的全任务通过率意味着高风险法律工作仍不能无人值守地交给 AI——这不是过度谨慎而是 LAB 数据本身告诉你的结论。延伸思考All-Pass 与部分通过的张力全通过率极低会让用户产生AI 一无是处的误判而平均标准通过率 92% 又可能被用于过度包装产品能力。法律 AI 评估是否需要引入风险加权评分——遗漏高风险条款的惩罚远大于遗漏低风险条款这套评分体系如何在严苛与可用之间找到平衡谁来维护中立性Harvey 既设计基准、也参赛竞争这在 SWE-Bench由学术机构设计中不存在的利益冲突在 LAB 中是真实存在的。随着更多模型跑出成绩法律 AI 领域是否需要一个类似 MLCommons 的中立第三方来托管和维护这类基准从评估到部署的最后一公里LAB 测的是Agent 是否能生产出符合标准的工作成果但律所真正关心的是这个 AI 的错误是否是系统性的、可预测的、在哪类任务上会失败。未来基准能否从通过/失败进化到失败原因分类——帮助律所判断哪些任务可以安全自动化、哪些必须人工审核 参考来源GitHub - harveyai/harvey-labs: A benchmark built to evaluate and improve agent capabilities for supporting legal work. · GitHub