跳至正文
朗慧科技

DATASET RESEARCH / LEGAL

法律大模型评测数据如何落地:从逐条 Rubric 到可复核验收

拆解法律大模型评测数据的题目、法源、逐条Rubric、双模型证据、三人一致率与ICC(A,3)验收,并说明隐私、许可和版本边界。

法律与司法数据AI辅助整理 · 研发交流

法律大模型评测正在从“答案像不像律师”转向“每一个判断能不能回到法源、事实和评分规则”。对于研发或数据采购团队,一条可用的评测数据并不只是问题、回答和一个总分,而是一个可以重放的证据单元:题目有明确法域与时点,Rubric 拆到可观察的最小事项,模型回答保留运行条件,评分理由能够指向回答中的文字,最终分数可以由子项重新计算,评分者之间的分歧还有可追溯的裁决记录。

本文讨论的是一种真实的中文法律 Rubric 评测数据需求。它的核心是:一个包含多层问题的法律任务,配套一组超过十五条的逐点评分规则、每条规则的依据与理由,再对两份模型回答逐点打分,保存标签、证据和总分,并由三名评分者在冻结规则下进行一致性验收。文章以中国大陆法域的研发场景为例,法源时点按 2026 年 11 月 19 日记录;其他法域应另建分册,不能把一个法域的分数当成另一个法域的能力证明。

法律 Rubric 评测单元的数据链路:从法域与证据冻结到双模型逐点比较和可回放评分查看完整技术图(可放大)

图 1|法律 Rubric 评测单元的数据链路。技术示意,不含真实案卷、当事人信息、模型成绩或司法结论。

一、先把需求从“法律题库”中分离出来

这类项目首先要回答的不是“要多少题”,而是“究竟在测什么”。输入端是一个需要法律专业判断的中文问题,可以包含若干大问和小问;输出端不是一份可以直接递交法院的文书,而是模型对题目的回答及其逐条评估记录。数据资产的目标是支持模型比较、错误归因、后续训练或回归测试,不是建立个人案件档案,也不是替代律师对特定事项的意见。

公开研究可以帮助界定任务边界,但不能替项目背书。LegalBench 是由法律专业人员参与协作构建的法律推理基准,包含 162 个任务,并按六类法律推理组织任务,研究者用它来讨论模型能否执行不同类型的法律推理,而不是把一个总分直接等同于真实业务可靠性。1 其公开仓库进一步说明,每个任务通常有对应的数据集和输入—输出对,任务覆盖的文本类型、结构、法域主题和难度并不相同;不同任务还要遵循各自数据创建者的许可证,不能因为仓库公开就默认可以商用。2 因此,中文法律 Rubric 需求应吸收“任务拆分”和“来源许可”这两个方法,而不能把公开基准成绩改写成企业交付指标。

需求中的法律域与 Coding 域也必须分开。本需求文本有模型回答比较、逐 Rubric 评分和一致性门槛,但没有仓库、文件、提交、Issue、依赖环境、测试 Oracle 或补丁验收,因此不能硬改写成 Coding 数据集。若另一个任务需要评测代码修复,就要重新定义代码来源许可、运行隔离、测试污染、环境快照和可复现执行;法律 Rubric 的“依据正确”不能替代代码任务的“测试可复现”。同理,医疗和金融题目不能因为出现在同一份多域规格中就与法律题目合并统计。三域可以共享字段工程,但不共享法域、专家资格、证据标准或最终能力结论。

还要把“建议的评分方案”和“已完成的项目结果”区分开。Rubric 中写有三人完全一致率门槛或 ICC(A,3) 门槛,只说明一个可执行的验收设计;只有在样本、评分矩阵、统计脚本和失败记录都真实存在时,才可以说某一批次通过了某一门。它不代表模型已经具备稳定的法律推理能力,更不代表某个法院会采纳模型的结论。

二、最小数据单元:从题目到每一个证据点

建议使用稳定的 eval_item_id 连接题目、Rubric、模型运行和评分,不要用行号或人工复制的标题当唯一主键。题目字段至少包括:任务目的、事实背景、问题层级、适用法域、法律状态时点、允许使用的材料、是否允许检索、期望输出结构和缺失证据时的处理方式。一个大问题可以分解为 Q1、Q2 等小问,但每个小问都要能落到后续的评分点;如果题目要求分析合同效力、时效或程序路径,就要在输入中说明必要的时间、主体角色和材料边界,不能把缺失事实藏在参考答案里。

参考资料不要只保存一列网址。对于每个评分点,至少应有来源类型、标题、稳定链接、访问日期、条款或段落定位、来源版本、适用法域和简短依据说明。官方法规、司法解释、法院公开的裁判要点或正式行政文件应与学术论文、行业评论和搜索摘要分层保存。评论可以用于解释争议,但不能替代现行法;论文可以支持评测方法,却不能替代具体法律规则。公开裁判资料要去除当事人姓名、联系方式、精确地址、未公开案号和其他能反向识别个案的内容,内部留存的索引也不能直接进入公开样例。

以中国大陆个人信息处理场景为例,官方发布的《中华人民共和国个人信息保护法》明确规定,境内处理自然人个人信息的活动适用该法,个人信息处理包括收集、存储、使用、加工、传输、提供、公开和删除等行为;该法于 2021 年 8 月 20 日通过,并自 2021 年 11 月 1 日施行。4 因此,一个测试“法域识别”的 Rubric 不应只写“引用个人信息保护法”,而应要求回答说明适用范围、法律名称、条文号和与题设事实的对应关系,并把法律状态日期写入版本元数据。若题目涉及委托处理、向其他处理者提供或公开信息,还应检查回答是否分别处理第 21、23、25 条的条件;若涉及敏感个人信息,应核对第 28 至 30 条的适用边界。这里的例子用于说明评分设计,不对任何真实主体给出结论。

模型运行记录应保存匿名模型标识、版本、系统提示或任务模板、温度和最大输出长度、上下文资料、工具权限、运行时间、错误状态和原始回答。两份回答必须来自相同题目和可比条件;如果一个模型可以检索、另一个模型闭卷,比较结果就应被标记为不同实验条件,而不能解释成模型本身的法律能力差异。评分理由要指向回答中可见的句子、引用或遗漏项,不应要求模型暴露隐藏思维链,也不应把模型自述的“推理过程”当作法律证明。

三、Rubric 不能靠堆数量,必须原子化

“每题超过十五条”是结构门槛,不是质量证明。好的 Rubric 是一组互相有依赖、但每条只判断一个事项的原子规则。例如,面对一题关于信息处理的综合问题,可以分别检查:是否识别适用法域;是否写出法源名称;是否给出正确条款号;是否说明该条款的适用条件;是否把题设事实映射到该条件;是否区分个人信息与匿名化信息;是否指出缺少哪些事实;是否在事实不足时保持不确定性;是否把公开资料和未授权材料分开;是否提供了可复核的依据定位;是否避免把一般研究建议写成确定法律结论;是否按照题目要求覆盖每一个小问;是否保持输出结构完整;是否标明依据版本和访问日期;是否识别了跨法域限制。

每一行应包含唯一编号、具体描述、权重、类别、依赖关系、参考来源、依据理由和必要的拒答或退回条件。类别可以沿用四类结构:信息提取、计算或推导、答案结构或格式、消极约束。正权重表示完成了什么,负权重表示触发了什么风险;负分不应被当作普通错误的反向奖励,而应写清触发条件。例如,“引用的条文仍然有效且与题设事实匹配”是一个正向事项,“捏造不存在的司法解释或将别的法域规则写成中国法”是一个消极约束。一个评分点如果同时判断法条编号、事实映射和表达质量,评分者在出现部分正确时就无法解释分数,也无法稳定复核。

依赖关系要组成无环图。先识别法域,再判断法源是否适用,最后才能评分事实映射;先确定题目要求的输出格式,才能判断是否完成结构任务。程序可以检查依赖编号是否存在、是否指向前置节点、是否有循环,但不能代替法律专家判断依赖是否合理。对争议性较强的结论,应把“事实准确”“依据可核验”“论证可辩护”“是否越权”分别评分。法律答案可能存在多条合理论证路径,不能把某一份专家参考答案当成唯一真值;但对于法源名称、条款号、生效日期、引用定位和题设明确给出的事实,仍可以设置较刚性的客观检查点。

拒答也要有位置。证据不足时,合格回答可以说明无法根据现有材料确定,并列出需要补充的事实;这不等于对所有问题都拒答。Rubric 应区分“合理指出缺失信息”“没有回答已具备证据的问题”“凭空补造事实”和“给出未经授权的诉讼或交易指令”。如果只奖励完整、流畅和肯定语气,模型会倾向于用编造来换取表面覆盖率,最终总分反而掩盖了最危险的错误。

四、专家职责、盲评与证据理由

评分者的资格应与任务法域和细分领域匹配。项目记录可以包括专业方向、执业或研究经历、适用地域、培训版本、利益冲突声明和任务准入状态,但公开稿和公开样例不应展示个人身份或未授权履历。仅写“法律专家团队”不足以证明评分质量。若任务同时涉及合同、个人信息和行政程序,应明确哪些评分点由哪类专家负责,哪些争议由指定裁决人处理。

一种可操作的双层流程是:第一层由域内评分人按照法源、事实映射、推理链和输出要求进行逐点评分;第二层由另一位评分人只检查越权、虚构依据、法域混淆、隐私泄露和不当确定性。两套结果都保留,不用一个综合分把风险冲掉。三名评分者应先独立工作,再进入分歧分析;评分界面不得显示另一个评分者的理由、模型名称或已有总分。每个理由应回答四个问题:评分点是否满足、回答中的哪处文字支持判断、若不满足属于遗漏、错误、越界还是证据不足、应给多少分。理由应简短而可复核,不要把长篇作文或不可验证的内部思维过程当作证据。

分歧应按原因分类。若争议来自条文版本变化,应更新法源并递增 Rubric 版本;若来自评分点同时包含多个事实,应拆分粒度;若来自合理的法律论证分歧,应补写可接受范围和反例;若来自评分者误读,则需要培训和复评。裁决记录应保存原始标签、裁决人角色、日期、采用的法源、变更后的标签以及是否影响历史分数。这样做的业务价值不是制造一个“绝对金标准”,而是让下一批返工能定位到规则、证据还是人员培训。

数据污染要在题目设计阶段处理。题面、参考答案、公开基准原题、网站原文或模板化改写如果进入某个模型的训练或调参范围,模型答对可能只代表记忆或泄漏。建议按来源、模板族、时间切片、题目作者或事实簇划分训练、调参和最终评测,近重复样本不要跨集合;同时保留一组不参与规则调整的外部或时间留出集。LegalBench 公开仓库特别提醒,不同任务的来源和许可证需要分别查看。2 在商业交付中,许可证矩阵应与数据卡一起交付,不能把“来自公开网页”当成充分授权。

法律评测数据的四层验收门:来源治理、结构复算、专家统计与版本回滚查看完整技术图(可放大)

图 2|法律评测数据的四层验收门。技术示意,不代表已验证性能、既成项目或法律资质审批。

五、把完全一致率与 ICC(A,3) 写成统计协议

“平均三人完全一致率不低于 90%”必须先定义分母和单位。是每个 Rubric 的标签完全相同,还是整题所有字段都相同?是模型 A 与模型 B 分开计算,还是把两份回答合并?是逐题平均,还是把所有评分点展开后总体计算?如果大量简单题和低风险正向样本稀释了法域混淆、虚构依据等关键失败,平均值会掩盖最需要修复的切片。项目应同时报告按法域、任务类型、难度、风险等级和 Rubric 类别分层的完全一致率,并把拒答、越权和证据缺失样本单独列出。

ICC(A,3) 也不是一个可以直接复制到验收表里的魔法数字。Koo 与 Li 的方法学指南指出,ICC 有不同模型、类型和定义,研究者应说明软件、模型、测量类型、定义以及 95% 置信区间;如果实际使用三名评分者的平均分,就应选择与“平均三名评分者”相符的形式。3 “A”代表绝对一致的约定时,项目仍需写明评分者是固定关注的三人还是从更大评分者群体随机抽取、评分量表是几档、缺失值如何处理、是否对每道题使用同一批评分者,以及最终应用的是单人分数还是三人平均分。固定的三名评分者通常不能把结果无条件推广到所有法律专家。

更稳妥的统计协议至少包含:评分矩阵的行列定义、样本数、分数范围、异常与缺失处理、绝对一致还是一致性、两向随机或混合效应模型、平均测量或单次测量、软件与版本、置信区间计算方法和分层输出。ICC 达到 0.8 只能说明在这套样本和统计定义下达到项目放行门,不等于法律事实正确,更不能抵消某个关键负向约束被三人共同漏判的风险。反过来,完全一致率很高但样本分数变化很小,也可能让 ICC 的解释变得不稳定。因此,可靠性统计、关键风险命中率、失败样例和专家裁决应并列交付。

建议把验收拆成四道门。第一道是结构门:UID 唯一,题目、Rubric、回答和评分能一一连接,依赖无环,权重和总分可重算。第二道是法源门:链接可访问,法规或裁判依据的法域、生效状态、条款定位和访问日期齐全,使用范围与许可证可证明。第三道是测量门:盲评确实执行,完全一致率和 ICC 按冻结协议计算,置信区间、分层结果、缺失和裁决记录齐全。第四道是安全与版本门:未授权个人信息、商业秘密和凭据已排除,关键越权样本未被平均分掩盖,规则或法源更新能触发停线、返工和版本回滚。任一门失败都应输出具体退回理由,而不是写“基本通过”。

六、算法路线:自动校验负责可复算,专家负责法律判断

工程上可以采用“确定性校验器—证据定位—专家复核”的组合,而不是把所有判断交给一个自动评分模型。确定性校验器先检查字段、编号、权重、依赖和总分;链接服务记录 HTTP 状态、访问时间和内容摘要,但“能打开”不等于“能支持该结论”。法源索引可按照法域、法律名称、条款号、生效日期和主题建立检索键,检索结果必须回到人工确认的官方文本,不能把搜索摘要直接写进参考依据。

对回答的自动分析可以辅助标出疑似法条、引用位置、缺失小问和越权词,但它只能生成待复核提示。法律结论是否适用、一个事实是否满足要件、一个裁判观点是否真的支持当前命题,都需要合格评分者确认。模型辅助评分若参与总分,必须先在一组人类已独立评分的样本上评估一致性,并且对高风险规则、争议样本和版本变化保留人工复核。不能因为一个评分模型与专家平均分接近,就声称它理解了法律或可以单独放行数据。

运行环境也应冻结。若题目目标是闭卷法律推理,就要在执行层限制外部检索;若目标是检索增强,就要记录允许的法源列表、访问时间、检索词、返回版本和工具错误。两种设置不能混合成一个总分。训练与测试之间的来源重叠、网页更新、法条修订和模型版本改变,都应在数据卡和变更日志中标明。NIST AI RMF 是一个自愿采用的风险管理框架,强调在 AI 产品、服务和系统的设计、开发、使用与评估中纳入可信性考虑;它可以作为记录治理、测量和持续管理的参考,但不是中国法律评测的强制标准。5

七、保密、公开授权与交付边界

法律题目往往携带真实工作材料,最容易被忽视的是“能看到”不等于“能公开”。如果素材包含当事人身份、联系方式、精确地址、未公开合同、案件卷宗、账号密码或商业秘密,不能用抽象化改写来掩盖未经授权的来源。应在采集前确认处理目的、使用范围、保存期限、访问角色、是否允许训练和是否允许向第三方提供;素材不能进入公开稿、图片或演示样例。根据《个人信息保护法》,处理个人信息应遵循合法、正当、必要和诚信原则,处理者应采取分类管理、去标识化、权限控制、培训和应急措施;委托处理、向其他处理者提供、公开个人信息和处理敏感个人信息还可能触发更严格的条件。4

交付包可分为三类。第一类是数据资产:题目、Rubric、模型回答、逐点标签、理由、总分和字段字典。第二类是质量证据:法源清单、许可矩阵、评分者准入记录、盲评记录、裁决表、完全一致率、ICC 统计、失败样例、污染检查和变更日志。第三类是运行说明:模型与提示版本、工具权限、环境快照、重算脚本说明和回滚规则。个人身份和内部运营注释应留在受控系统中,公开交流只展示已经授权且充分去标识的结构示例。

具备数据基础设施和流程服务能力的团队,可以围绕项目书面规格组织题目字段、专家任务、标注质检、版本管理和可复核交付;是否能够承担特定法域、特定专科、特定规模和特定阈值,应由试标、专家资格核验和书面验收记录确认。研究建议不等于实际交付,公开论文或基准分不等于公司榜单成绩,Rubric 通过不等于模型已经能够独立提供法律服务,数据交付也不等于任何司法机关的采信或审批。

结语:让分数回到依据,而不是回到口号

法律评测数据的价值,不在于把表格做得更宽,也不在于用一个总分给模型贴上“懂法律”的标签。真正可复用的资产,是一条能从题目回到法域,从 Rubric 回到条文或裁判要点,从评分回到回答证据,从统计回到样本和版本的链路。逐点评分可以暴露法条错引、事实遗漏、论证跳步、拒答不当和越权建议;三名评分者的独立记录与裁决可以揭示规则本身的歧义;分层可靠性和留出测试可以帮助研发团队判断改进来自模型、数据还是评分规则。

如果下一轮要扩展到合同审阅、法律检索、司法推理或 Skills-RL 轨迹,应分别重新定义输入、专家职责、工具权限、法源范围、隐私授权和验收门槛,而不是把不同任务拼进一个平均分。只有在这些边界清楚、证据可追、失败可复现的前提下,法律 Rubric 才能从一次性的模型比较表,变成支持训练、评测和治理的工程接口。

说明:本文为 AI 辅助整理,供研发与数据工程交流;不构成个体法律意见、律师服务、生产安全认证或任何资质审批。

参考来源

  1. LegalBench: A Collaboratively Built Benchmark for Measuring Legal Reasoning in Large Language Models
  2. HazyResearch LegalBench 项目仓库与任务说明
  3. A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research
  4. 中华人民共和国个人信息保护法
  5. NIST AI Risk Management Framework

FROM INSIGHT TO YOUR PROJECT

让专业洞察,成为您的数据方案

围绕本文的技术路径与应用场景,和朗慧聊聊您的数据需求。

本文咨询主题:法律大模型评测数据如何落地:从逐条 Rubric 到可复核验收

业务电话137-5502-0164业务邮箱lk@langhuiai.com
朗慧业务联系人微信二维码,扫码添加联系人
微信沟通

扫码添加业务联系人
或点击二维码查看原图

查看原始微信名片

提交您的项目需求

业务团队将在工作时间内与您沟通。带 * 的为必填项。

* 联系电话或邮箱至少填写一项。

请勿填写个人病历、身份证号、合同原件内容或其他敏感信息。本文标题与链接将随需求提交,便于业务团队理解咨询背景。