DATASET RESEARCH / LEGAL
从诉状配对到可验收语料:法律文书数据集的工程化拆解
拆解中国大陆诉讼文书配对数据的案件级结构、案情事实中间层、证据与案由标签、脱敏授权、复杂度分层、去重切分和可复跑验收边界。
法律人工智能项目常把“起诉状、答辩状、裁判文书”写成一个采购名词,但真正决定数据能否用于训练和评测的,不是文书数量,而是同一案件的事实、主张、证据与裁判结果能否在结构上相互对齐。只收集几类长文本,模型可能学到文书格式和常见套话,却学不到“哪一方基于何种事实提出什么请求、对方如何回应、哪些证据支撑争议、法院在什么程序和法域内作出判断”。
本文以中国大陆司法语境下、面向2023—2026年文书落款日期的数据建设为讨论边界,拆解一种真实的成对诉讼文书采购需求:以案件为单位,优先组织裁判文书、起诉状、答辩状和案情事实的对应关系;在材料无法完整取得时,允许采用案情事实与起诉状、起诉状与答辩状等明确标注的降级组合。它是一套数据工程建议,不是对任何案件的法律意见,也不代表某个项目已经具备全部数据、获得司法授权或达到所列数量。
一、先定义“案件配对”,再定义“文书数量”
1. 配对不是把三份文本放在同一文件夹
最小样本单元应是一个可追踪的案件组,而不是一篇文书。建议为每一组设置不可由正文推断出的 pair_id,同一案件的每份文书再设置唯一 doc_id。每份记录至少包含文书类型、标题、案件类型、案由、法院、落款日期和脱敏后的全文;案件组还应有程序阶段、事实摘要、证据索引、法律依据状态和来源授权状态。若一组同时含有裁判文书、起诉状、答辩状,三者共享 pair_id,但不能因为案号相似就自动配对:还要核对当事人角色、诉请、争议焦点、事实节点和受理法院是否一致。
配对逻辑应允许明确的完备度等级。例如,最高等级是“裁判文书+起诉状+答辩状+案情事实”;次一级可以是“案情事实+起诉状+答辩状”;再低一级是“起诉状+答辩状”或“案情事实+起诉状”。每个等级都要保留缺失原因,不能把缺失的裁判结果默认为支持原告,也不能把只有单方陈述的案情摘要写成中立事实。二审上诉状与上诉答辩状、再审申请书与再审答辩状,也应使用阶段标签区分,不能和一审文书混为一组。
2. 把案情事实变成可验证的中间层
案情事实不是把三份文书压缩成一段摘要,而是一个可回指的中间层。它至少应有四部分:按时间排序的事件节点;各方核心诉求;各方对事实的不同陈述;证据清单及其所载明的内容。每个节点应标注“来源文书—段落或页码—事实主体—时间精度—是否存在争议”。无法取得原件的汇款凭证、账单或鉴定材料,最多描述材料名称与已核验的载明内容,不能补写看不见的数字、签章、原始图像或专家结论。
这一层的价值在于支持三种校验:起诉状的请求是否能从案情事实找到对应事件;答辩状是在承认、否认还是提出新的抗辩;裁判文书的事实认定是否与双方陈述和证据节点发生可解释的变化。变化本身不是错误,未经解释的断裂才是高风险。训练时可以把“事实节点—文书片段—证据条目”作为关系边,而不是把裁判结论当成每个争议的唯一标签。
图1|技术示意:案件配对、事实中间层、证据与标签、数据切分必须同时闭环;不代表任何既成项目、现货库存或已验证性能。
二、字段设计要服务法律推理,而不是追求“标签越多越好”
1. 结构化字段与全文字段分层
第一层是记录身份:pair_id、doc_id、doc_type、doc_title、case_type、cause_of_action、court_name、procedure_stage、date_precision。第二层是内容关系:当事人角色、诉讼请求、争议焦点、抗辩要点、证据引用、法条引用和裁判理由段落。第三层是治理字段:来源渠道、授权依据、处理目的、去标识版本、复核记录、保留期限、删除或回收状态。治理字段不能在对外训练集里暴露可识别的原始身份,但应在受控的交付清单中可审计。
文书全文仍应保留原有法律结构,包括标题、当事人称谓、诉讼请求、事实与理由、证据、落款等必要部分。脱敏后的主体标记应在同一文书和配对文书中保持一致,可用“原告甲”“被告乙”“机构1”等稳定占位符,避免使用容易造成边界歧义的连续“某某某”或“XXX”。对于法院名称是否保留,应按项目授权和公开范围书面确认;“法院可不脱敏”不等于所有姓名、住址、账号和案情细节都可公开。
2. 证据标签要记录“可证明什么”,不要声称“必然证明”
中国大陆民事诉讼法将当事人陈述、书证、物证、视听资料、电子数据、证人证言、鉴定意见和勘验笔录列为证据类型,并要求证据经查证属实后才能作为认定事实的根据。3 因此,数据集可设置 evidence_type、evidence_claim、linked_event、provenance_status 和 dispute_status,但不要把“出现某份证据”直接标成“事实为真”。证据标签应区分提出者、证明对象、是否被对方质证、法院是否采信以及理由是否可回指。
涉及国家秘密、商业秘密或个人隐私的证据,在公开开庭时存在保密边界。3 对采集团队来说,这意味着不能把“公开裁判文书”当作自动获得完整案卷的通行证,也不能把能在网页上看到的内容直接扩展到起诉状、答辩状和附件。对外交付宜采用最小字段集、分级权限和可撤回版本;原始材料、映射表、授权证明和回收日志应与训练语料隔离保存。
3. 复杂度是采样标签,不是案件价值判断
需求中把案件分为一般复杂、中等复杂和非常复杂,并要求分别约占30%、40%和30%。这类标签适合作为采样和验收分层,不应被改写为“简单案件”“疑难案件”的价值评判。每层至少要同时覆盖规定的若干复杂要素:当事人数量、独立或关联争议焦点、法律关系层次、主要法律及条文数量、证据类型、争议标的或量刑区间,以及反诉、第三人参加、管辖异议等程序问题。
执行前应做一张“要素矩阵”。每个样本记录实际命中的要素、证据位置、专家判断和复核结果;缺失项标为“不适用”“材料不足”或“待核验”,而不是为了满足配额强行补标签。尤其要注意原始需求在不同段落中对民事案由数量和刑事罪名数量存在不同口径:需求段提出民事案由不少于50种、刑事罪名不少于30种,后续验收段又出现民事一级案由不少于30种、刑事罪名不少于50种的表述。项目启动前必须把统计口径、分母、版本和优先级冻结到验收表,否则交付时无法判断“达标”究竟采用哪一个标准。
三、把法域、日期和公开授权写进数据卡
1. 法律适用边界必须先写清
这类语料的基本法域是中国大陆,文书应标注案件类型、审级或程序阶段、法院辖区、文书落款日期和适用法版本。2023年修正的民事诉讼法已经把经当事人同意的在线诉讼活动纳入规则,并明确电子方式可以与线下诉讼具有同等法律效力;同一部法律也规定了起诉、反诉、证据和公开审判等程序框架。3 数据卡不能只写“法律文书”,而应明确是否包含涉外案件、跨境司法协助、行政诉讼、刑事公诉与自诉,以及这些材料是否由具备相应权限的主体提供。
日期筛选也不能只按抓取日期。一个2026年下载的文书,落款日期可能早于目标时间段;一个2023年落款的案件,后续法律解释或裁判规则可能已经变化。因此,建议同时记录文书落款日期、采集日期、法条核验日期和最后一次复核日期。法条标签应保存条款编号、法规名称、版本状态和适用理由;截至本文核对日,不以论文、新闻稿或模型输出替代现行法的官方核验。
2. “公开”不等于“可自由训练”
《个人信息保护法》在中国境内适用于自然人个人信息处理,明确把收集、存储、使用、加工、传输、提供、公开和删除都纳入处理活动;其一般原则要求合法、正当、必要、诚信,收集应限于实现目的的最小范围。1 已公开信息也只能在合理范围内处理;对个人权益有重大影响时仍需依照法律取得同意。个人信息处理者不得公开其处理的个人信息,除非取得个人单独同意,且处理敏感个人信息还要有特定目的、充分必要性和严格保护措施。1
对诉讼语料而言,姓名、联系方式、住址、金融账户、行踪、医疗健康、未成年人信息和能与其他资料组合识别个人的案情,不能因为出现在司法网页或材料里就自动获得训练授权。较稳妥的工程路径是:先核对来源主体和授权链,再确定处理目的与使用范围;对超出目标任务的字段做删除或去标识化;为配对一致性保存受控映射,而不把映射表交给普通标注角色;对公开、内部研发、客户交付和第三方评测设置不同版本。
《数据安全法》把数据处理定义为收集、存储、使用、加工、传输、提供、公开等活动,并要求按照数据重要程度和泄露、篡改、非法利用的危害程度实施分类分级保护;开展数据处理还应建立全流程安全管理制度、开展风险监测并采取必要技术措施。2 这对应到工程上,就是为每一批数据保留来源、权限、版本、访问、质检、导出、删除和事件处置记录,而不是只在项目末尾做一次脱敏截图。
中国裁判文书网的公开入口按民事、刑事、行政、赔偿、执行等类型组织检索,但网站当前页面也提示系统升级维护。5 这个入口可以作为公开司法文书的核验渠道之一,不能被理解为起诉状、答辩状附件、全部证据或任意二次利用权的保证。网页公开、数据许可、训练目的和客户交付范围必须分别核对。
四、质控要围绕“配对正确”和“法律上可解释”展开
1. 四道闸门
第一道是来源闸门。对每个文件记录提供方、获取方式、授权或公开依据、使用目的、地域和时间范围;无法说明来源或超出授权的样本进入隔离区,不以“以后再补证明”直接进入训练集。第二道是结构闸门。检查标题、主体角色、诉请、答辩、案情事实、证据和落款是否完整,检测乱码、截断、模板占位、文书类型错配和程序阶段错配。第三道是配对闸门。以案情事实为中间层比对当事人角色、案由、法院、争议焦点、时间线、证据指涉和裁判理由;冲突样本进入专家仲裁,而不是用多数票掩盖事实不确定性。第四道是去重与切分闸门。对全文做规范化哈希,对 doc_id 和 pair_id 分别检查;不同案件之间不得出现全文完全相同的文书,训练、验证和测试必须按案件组切分。
原始验收文本提出了脱敏、配对逻辑、内容质量、覆盖范围和唯一性等多项阈值。工程团队可以据此做验收卡,但不应把采购文本中的阈值宣传为行业统一标准。抽样方案、置信区间、争议处理、缺陷严重等级、回修时限和复验批次都要在小规模试标后书面确认。若同一配对组有一份文书被发现身份不一致,问题往往不是单文档缺陷,而是整组需要回溯。
2. 专家职责应和错误类型对应
基础标注人员负责字段填充、段落切分、初步去标识和证据候选链接;法律领域专家负责案件类型、案由、争议焦点、法条状态和复杂度要素;独立复核者负责配对一致性、冲突解释和疑难样本仲裁。三层角色并不自动等于“三级审核合格率”,每层都应留下版本、理由和被退回字段。
一致性评估也要分层。对文书类型、案件类型等确定性标签,可以计算一致率;对复杂度、争议焦点和证据是否足以支持某事实,应保存多标签或允许“合理分歧”的评分规则。Cohen’s kappa等统计量可以作为试标分析工具,但不能脱离标签分布和专家数量被当成法定合格线。最终报告应同时给出错误样例、争议类型、样本覆盖和无法判断的比例。
3. 失败集比单一准确率更有用
建议建立四类失败集:文书缺页或截断、跨文书主体不一致、事实与证据指涉断裂、法条版本或案由标签过时。每类失败集都要有原因码、严重程度、是否回修、是否重新进入训练集以及对评测集的影响。不能拿抽样通过率替代授权审查,也不能拿模型在某一组测试上的分数宣称已经具备律师、法官或司法机关的能力。
图2|技术示意:法规边界、标注规则、数据质控和模型评测相互约束;权重与阈值需由具体项目试标和书面验收确定。
五、训练与评测:让模型学习“对齐关系”,而不是背结论
1. 将一个案件拆成多项可评测任务
同一配对组可以支持多种任务,但必须显式区分输入和目标。第一类是结构抽取:从全文识别诉讼请求、主体角色、争议焦点、程序阶段和证据类型。第二类是跨文书对齐:给定起诉状和案情事实,检查答辩状是否回应核心请求;给定事实与证据索引,判断某一段论证是否有来源。第三类是检索增强:在法条、司法解释和裁判规则版本库中找到适用依据,并返回核验日期。第四类是受约束生成:要求模型起草结构化答辩框架,但把事实来源、法律依据和不确定性分别输出。第五类是专家评分:评估事实映射、法条有效性、论证链完整性、证据风险和文书规范性,而不是只比较最后一句“支持或驳回”。
LegalBench是一个由法律从业者、法学教师和计算法律研究者共同建设的英文法律推理基准,页面介绍其包含多种任务和输入—输出数据,并强调长上下文、专业术语、多步推理和有限标注数据等技术难点。4 它可以启发“按任务拆数据”和“按能力维度报告”,但不覆盖中国大陆法条、诉讼文书配对或本需求的授权边界,不能直接作为本项目的合格率或商业效果证明。
2. 评测集要防止配对泄漏
最常见的污染不是同一段文本重复,而是同一案件的起诉状进了训练集、答辩状进了测试集,或者同一案由、同一批次模板和同一主体替换规律泄漏到两个分区。切分必须以 pair_id 为最小单位,并在时间、法院、案由、程序阶段和文书类型上报告分布。对于生成任务,不能把裁判文书全文直接作为标准答案,让模型只需复制固定表述;应评估是否保留事实约束、是否区分对方主张与法院认定、是否正确标注未决问题。
建议把验收分为三种结果:数据正确性、模型任务表现和真实业务价值。第一种由人工和规则检查;第二种在冻结版本的独立测试集上测量;第三种要结合使用者、流程风险和上线前复核,不可由公开基准分数推出。即便某个模型在法律推理基准上表现良好,也不意味着它已取得中国律师资质、能够代替法官作出裁判,或在真实案件中保证胜诉。
六、交付设计:把可追溯性当作产品的一部分
一套可围绕项目约定的交付物,至少包括数据卡、字段字典、配对规则、案由与复杂度标签指南、来源与授权清单、去标识说明、质量抽样报告、缺陷与回修记录、版本变更日志、训练—验证—测试切分说明,以及限制使用和删除流程。若由数据基础设施平台承接采集、处理、标注、质检和交付,平台能力应表达为“可按项目规格配置”,不能把方案图写成现货库存、已完成交付或固定产能承诺。
业务价值主要体现在减少重复人工整理、提高案件级检索和评测的可追溯性、让模型错误能够回指到事实或证据节点,以及为后续小规模试标提供统一语言。它不等于自动生成可直接提交法院的诉状,不等于模型已经学会司法推理,也不等于任何预测结果能够改变法定程序。对研发团队,最实际的下一步通常是先选定一个法域和两到三个案件类型,建立少量但完整的配对样本,再扩展到全量分布;对数据工程团队,则应先冻结字段、授权边界和缺陷码,再讨论规模。
结语:先证明“这一组数据为什么成立”
法律文书数据集的核心竞争力不是把网页上的文本搬到训练平台,而是能够回答五个问题:这些材料从哪里来,是否允许这样处理;它们是否属于同一案件和同一程序阶段;案情、证据、主张与裁判是否可以相互解释;每个标签由谁、依据什么、在什么法律版本下确认;模型评测是否避开配对泄漏,并区分研究建议、工程指标与真实司法结果。只有这五个问题有记录、可复核、可回滚,规模扩张才不会把隐私风险和逻辑错误一同放大。
本文为AI辅助整理,供研发与数据工程交流;不构成个体法律意见、律师服务、司法判断或生产安全认证。法律条文、司法公开政策、数据授权和项目验收阈值应由具备相应权限的专业人员在具体辖区和日期下复核。


