DATASET RESEARCH / LEGAL
法律 Skills-RL 训练数据如何落成可复核任务:从技能触发、检索轨迹到 Rubric 验收
拆解法律Skills-RL任务的数据契约、技能触发、法规检索轨迹、Golden产物、专家Rubric、隐私授权与版本化验收边界。
法律大模型的训练数据,正在从“给问题配一个答案”转向“让模型学会在约束下完成一项工作”。尤其是 Skills-RL(围绕可触发技能、工具使用和结果反馈组织后训练)场景,一条样本不应只是一问一答,而应能说明:用户要完成什么法律工作,模型可以使用哪些材料和工具,哪些步骤必须先做,什么叫证据充分,最终交付是段落还是文件,以及专家如何逐项验收。LegalBench 以法律专业人员参与构建的任务来衡量多种法律推理能力,说明任务设计本身就是法律数据质量的一部分,而不是生成答案后的附属工作。1
本文讨论一类面向中文法律技能训练与评测的研发数据需求。它的核心不是生产法律意见,也不是收集私人案卷,而是把检索、文书处理、法律备忘录、合同审阅等技能拆成可复现的任务包:包含用户问题、必要附件、行业或法律标签、触发技能、工作流轨迹、目标产物和细粒度评分量规。实际项目能否接收某种材料、采用何种辖区、使用什么专家资质和交付格式,仍须由需求方、数据主体和法律专家书面确认;下文的结构与阈值是研发建议,不是既成服务能力或司法结果承诺。
一、先区分“法律资料集”和“法律技能任务集”
传统法律语料可以按法规、裁判文书、合同条款或问答组织,主要回答“文本里有什么”。技能任务集还要回答“在这个目标下,模型应如何行动”。例如,用户要求起草一份文书时,数据不能只记录一段成品文本,还要记录输入事实是否充分、附件是否可用、适用法域和截止日期是什么、是否需要检索现行法、结果是否必须输出为可编辑文件。这样,训练信号才可能覆盖任务识别、证据查找、适用性判断、格式交付和风险提示,而不只是模仿法律措辞。
本类需求的独立性也正在这里:它与只做起诉状、答辩状实体抽取的法律数据集不同;与只提供通用法律评分量规的文章不同;也与让专家出一道复杂法律题再比较两个模型的评题项目不同。其真正的数据对象是“技能触发后的完整工作契约”,包括可执行步骤和可验收产物。公开介绍时,不应把相近主题的页面拼接成同一个项目,也不应把某一篇法律数据文章的笼统描述当成已覆盖了该契约。
Skills-RL并不意味着把法律判断完全交给奖励模型。更稳妥的做法是把奖励拆成多个可审计维度:是否选择了正确技能,是否遵守检索前置条件,是否引用了与辖区和日期匹配的权威依据,是否保留不确定性,是否按要求交付文件,是否避免泄露个人信息和商业秘密。每个维度都应有正例、反例和边界例,并允许“无法判断”“需要专家升级”成为合法标签。
二、把一条样本定义成可回放的任务包
最小样本应能由未参与编写的专家独立理解和复核。建议至少包含以下字段:唯一 UID、用户 Query、语言、司法辖区、法律领域标签、知识截止日、附件清单、附件授权与脱敏状态、内容小结、可触发技能、工作流步骤、是否要求文件、输出格式、Golden 产物、Rubric 集合、版本号和质量状态。UID 只负责稳定定位,不能把当事人姓名、案号、地址或内部项目代号编码进去。
Query应写成真实工作目标,而不是“请谈谈某法律问题”这样的知识问答。例如,若任务是法律备忘录,需说明事实范围、需要回答的子问题、目标读者、引用要求、辖区、时间截点和输出文件;若任务是合同审阅,需明确合同版本、风险类别、审阅结果的字段和是否要提出改写建议。输入附件应按文件级登记格式、页数或版本、来源权限和可见范围,禁止为了制造复杂度加入无关的私密材料。
Golden不是“唯一正确的判决答案”。在法律任务中,多条论证路径可能都能成立,但它们必须共同满足事实忠实、法源有效、适用条件吻合和结论边界清楚。Golden可以是结构模板、关键事实清单、应核验的法规条款、可接受的结论区间和必须披露的不确定性;对于开放式备忘录,还应列出不可省略的反方论点和需要人工确认的事项。这样既保留专业裁量,又避免用一个表面流畅的参考答案压扁法律推理。
图1|法律 Skills-RL 任务的数据契约与轨迹。技术示意,不代表已完成生产、法律意见、司法结果或任何固定交付规模。
三、工作流轨迹要记录“可核验动作”,不记录无法验证的神秘思维
本源需求把技能触发、工作流步骤和是否交付文件放在同一条数据契约里,这是很有价值的方向。一个可执行的法律检索轨迹可以分成五段:第一,解析问题,确定辖区、法律层级、时间范围和输出目的;第二,生成检索请求,区分法条、司法解释、行政规章、官方指南和案例材料;第三,获取原文并记录标题、发布机关、发布日期、生效或废止状态、访问日期和相关条款;第四,将事实要件与法源要求逐项映射,标记证据不足、冲突或存在多种解释的地方;第五,生成目标文本或文件并做引用、格式、隐私和越界检查。
这条轨迹不应要求模型输出不可审计的“完整内在思维”。训练和评测真正需要的是外部可核验的操作记录:调用了哪一个允许的检索工具,使用了什么查询,选择了哪一版原文,哪个结论由哪一条依据支持,在哪一步触发了人工复核。L-MARS将法律问答表示为查询、检索证据、判断和摘要之间的迭代状态,并把法域匹配、时间具体性、事实支持和矛盾检查列为证据充分性判断的一部分;同时,它的实验也显示,法律规则变化快时,旧知识可能让模型带着错误前提进行更自信的推理。3 因此,检索轨迹的价值不是让文章看起来“像推理”,而是让错误可以定位和回放。
法律检索还必须区分封闭材料任务与需要外部更新的任务。封闭任务可以规定只能使用提供的法规包、附件和模拟检索库,便于控制污染;时效任务则必须允许访问经核验的官方来源,并在样本中保存访问日期和版本。LegalBench-RAG把“能否回答”与“能否从大语料中找回精确相关片段”分开,强调法律文本的结构、术语和细粒度引用不能被一般检索指标替代。2 对中文任务而言,还需处理同一法律的简称、旧称、修订前后条号、地方规范层级和生效状态变化。
四、法规与证据链:以中国法为例,但不要把法域假设写死
如果任务采用中华人民共和国法,样本必须在任务卡中明确“适用中国大陆现行法”或更精确的地区、层级与日期;如果是美国、欧盟或其他辖区,则必须换用对应的官方法源和专家。研究文章不能用一篇论文替代现行法,也不能因某个英文 benchmark 有高分就推断中文法律任务可靠。涉及跨法域比较时,应把比较维度、译本状态和法律效力分开记录。
以训练数据治理为例,截至2026年11月19日可直接核验的中国官方规则包括:2023年7月10日公布、同年8月15日起施行的《生成式人工智能服务管理暂行办法》。其第七条要求训练数据具有合法来源,涉及知识产权和个人信息时分别满足相应要求,并提高数据真实性、准确性、客观性和多样性;第八条进一步要求制定清晰具体可操作的标注规则,开展质量评估和抽样核验,并对标注人员进行必要培训。5 这为数据任务的来源登记、标注指南、抽检记录和专家培训提供了合规设计方向,但不等于任何项目已经完成合规审计。
同样,2021年8月20日通过、2021年11月1日起施行的《中华人民共和国个人信息保护法》规定,个人信息处理应有明确合理目的并限于最小范围;处理者应在处理前告知目的、方式、种类和保存期限;处理敏感个人信息、自动化决策、委托处理、向境外提供等情形还触发影响评估或其他义务。6 因此,法律技能样本的附件治理至少要记录:数据主体是否知悉和授权、是否涉及敏感个人信息、是否可以用于训练和公开展示、谁可以访问、保存多久、如何删除或回收,以及交付时是否只保留去标识后的必要字段。去标识不等于自动获得公开授权,匿名化、去标识化和保密处理也不能混用。
公开稿不应出现真实当事人、联系方式、精确地址、案件主体、案号或内部项目名。即便输入材料原本是公开裁判文书,也要重新评估再利用目的、重识别风险、版权和职业保密边界。对无法证明来源和授权的附件,应标记为待补证或剔除,而不是通过“抽象化”把它变成看似原创的需求。
五、专家职责与标签体系:让法律判断可以被复核
专家角色应按责任拆分。出题专家负责任务真实性、事实条件和目标产物;法规研究专家负责法源层级、现行性、条文适用和引用;交付专家负责文件结构、格式和读者需求;独立复核者负责逐项量规评分;争议仲裁者负责解释冲突并回写指南。具备法律训练不等于对所有领域、辖区和日期都具备资格,项目应记录准入标准、培训材料和回避规则,但公开稿不应虚构固定律师团队、执业证书或司法资质。
标签至少分四层。第一层是领域和任务,如合同审阅、法规检索、法律备忘录、诉讼文书或合规分析;第二层是触发的技能,如检索、事实整理、条款定位、引用核验、文件生成和风险分级;第三层是样本状态,如现行法、历史法、待确认、证据不足、存在分歧或拒绝回答;第四层是错误类型,如法域错配、日期过时、事实臆造、法条断章取义、附件遗漏、格式不合格、隐私越界和将建议写成结论。标签的目的不是把复杂工作压成一个类别,而是让训练、抽检和回修回答“模型在哪一步失败”。
法律回答还要保留不确定性和多解性。Rubric可以要求模型列出适用前提、支持与反对依据、尚需核实的事实和升级专家的条件,而不是强迫它在证据不足时给出肯定结论。对于需要生成文件的任务,应验证文件是否真的存在、能否打开、格式是否符合约定、引用是否能回指来源;“写了一段说明”不能替代“交付一份可审阅文件”。
六、Rubric应原子化:同时评结果、依据和边界
一条Rubric只判断一个可观察事项。例如,不写“回答应专业准确”,而写成“回答明确指出适用辖区与知识截止日”“引用的法规标题和条款号与官方原文一致”“每个主要结论都能回指已提供或允许检索的依据”“没有把附件未出现的事实写成既定事实”“输出文件包含约定的章节和版本信息”。每条还应有参考依据、适用条件、正向通过描述、失败示例、权重或严重性,以及是否需要前置条件。
可以把评分划成五个互补层:任务理解,检查是否回答了所有子问题并遵守语言、格式和读者要求;法律准确性,检查法源、条文、案例和时效;证据链,检查事实—要件—结论是否逐步可追;交付质量,检查文本或文件的结构、引用、表格和可编辑性;安全边界,检查隐私、保密、未经授权的外部行动和个体法律意见风险。严重的法域错误、虚构法条、泄露敏感信息和把不确定结论写成确定结论,不宜被其他小项的格式得分抵消。
Harvey公开的LAB把法律任务组织为指令、材料环境、可审阅工作产物和专家Rubric,并把事实、结论、引用、严重性、建议和格式拆为原子条件;其强调的“全项通过”也提醒我们,在高风险法律工作中,漏掉一个关键问题可能使整份交付需要返工,而不是简单地用平均分掩盖。4 但该基准面向其自身的任务和法域,不能直接替代中文项目的专家验收,也不能把它公布的任务量或Rubric数量转换成任何供应商的交付保证。
图2|法律 Skills-RL 数据的质控与验收闭环。技术示意,阈值需在项目书面规格与专家试标后确定,不代表统一行业标准或已验证性能。
七、验收要从样例试标走向版本化回归
建议先做小批试标,而不是先承诺大规模产量。试标阶段冻结字段字典、标签枚举、技能清单、法域和日期格式;由不同专家独立完成同一批任务,比较争议集中在题干、法源、推理、格式还是权限;对争议样本进行匿名交换理由和第三方仲裁;最终把裁决写回指南并标明影响的样本版本。量产前再冻结训练、验证和测试分割,保留一批不公开的回归任务,防止同一附件、模板或参考答案同时出现在训练和验收两侧。
验收指标也应分层。结构层检查JSON或文件是否可解析、UID是否唯一、必填字段是否齐全、引用链接是否可访问;证据层检查法条、案例或官方文件的来源、辖区和日期;任务层检查问题是否被完整理解、附件是否使用正确、是否执行了必需技能;产物层检查目标文件、段落、表格或修改建议是否符合规格;安全层检查是否出现未授权公开、个人信息、商业秘密或不当法律承诺。报告应保留分母、分层方式、失败类型、置信区间或至少抽样方法,不能只公布一个无上下文的“准确率”。
法规会更新,技能指南也会改版,所以每个样本需要数据版本、规则版本、法源访问日和环境信息。发现法条废止、条号变化、官方网站迁移或授权范围变化时,应将样本标记为待回归,重新核验Golden和Rubric;未经复核不得把旧标签继续用于训练。研究 benchmark 的分数只说明特定任务、模型和设置下的结果。L-MARS对其法律检索任务也明确提示样本会随法律变化而过时、单一法域和搜索引擎质量会限制结论外推。3
八、算法路线与业务价值:把研究建议和交付事实分开
算法上,可以先用结构化解析器把Query映射到辖区、任务类型、技能和输出格式,再由检索器返回带来源元数据的候选法源;对文件任务,用模式校验器检查页码、字段、附件引用和格式;对文本任务,用规则与专家量规共同判断法源、事实和结论。奖励建模可以把“找到正确依据”“遵守顺序”“保留不确定性”“完成可审阅产物”作为不同奖励,避免模型只追求语言流畅或表面长答案。对于需要外部检索的任务,应限制工具权限并保存调用日志;对于含敏感材料的任务,应采用最小访问、隔离环境和到期删除。
这些设计可以支持多种研发用途:用任务标签控制训练采样,用工作流轨迹定位技能缺口,用细粒度Rubric构造偏好比较或过程反馈,用独立保留集观察跨法域、跨日期和跨表达的泛化,用错误类型指导下一轮专家试题和指南更新。朗慧可围绕项目约定提供数据规划、专家协同、标注质检和交付接口设计,但具体授权、人员配置、周期、格式、阈值和交付状态必须以书面项目规格和验收材料为准。研究建议不等于已完成交付,论文或公开基准成绩也不等于榜单性能、生产可靠性或司法结果。
结语:法律数据的关键不是更像答案,而是更像可审计的工作
法律Skills-RL数据的难点在于同时守住三条线:工作流要足够真实,法源与日期要足够准确,数据主体和职业保密要得到足够保护。把Query、附件、技能、轨迹、Golden和Rubric放进同一契约,能让训练信号从“像不像法律文本”升级为“是否在证据和权限约束下完成了可复核工作”。但任何模型仍可能误读事实、遗漏法源、使用过时规则或在不确定处过度自信,最终法律判断、文件签发和对外行动必须由具备相应职责和资质的人完成。
AI辅助整理,供研发与数据工程交流;不构成个体法律意见、律师服务、生产安全认证或任何司法/监管审批。
参考来源
- LegalBench: A Collaboratively Built Benchmark for Measuring Legal Reasoning in Large Language Models
- LegalBench-RAG: A Benchmark for Retrieval-Augmented Generation in the Legal Domain
- L-MARS: Legal Multi-Agent Workflow with Orchestrated Reasoning and Search
- Open-Sourcing Harvey’s Long Horizon Legal Agent Benchmark
- 生成式人工智能服务管理暂行办法
- 中华人民共和国个人信息保护法


