DATASET RESEARCH / LEGAL
司法文书配对数据集如何做成可验收资产:从案由标签到证据链质控
围绕中国法语境下的起诉状、答辩状、裁判文书配对数据,拆解pair_id建模、案由与案件类型覆盖、跨文书脱敏、配对逻辑、去重、专家复核、法规时点和案件级切分验收。
法律模型真正需要的,不是把大量文书堆在一起,而是能说明每份文本从哪里来、为什么可以用、与哪份文书构成同一案件、标注依据是什么,以及在什么条件下可以进入训练或评测。对于起诉状、答辩状、裁判文书及其同类诉讼文书,最有价值的样本单元通常不是一篇孤立文本,而是带有案件关系的配对或多文书组。它既可支持文书结构理解、事实与诉请抽取,也可支持跨文书一致性核验、法律依据检索和生成结果的约束评估。
本文讨论一类真实的司法数据采购任务:在中国法语境下,围绕2023—2026年形成的民事、刑事、行政、国家赔偿、执行等案件,建设不少于五万组的起诉—答辩—裁判文书配对或可接受替代组合,并以脱敏、案由覆盖、配对逻辑、文本完整性和唯一性作为交付门槛。这里的数字是任务规格,不是某个服务商已经拥有的库存,也不是模型上线后的性能承诺。公开裁判文书平台本身按民事、刑事、行政、赔偿、执行等类别提供检索入口4,但“能够看到”与“有权再加工、再交付、用于训练”之间仍有明显距离。
一、先定义数据任务,而不是先谈样本数量
这类项目的第一步应是写出数据对象的形式定义。一个最小案件组可以表示为pair_id加若干文书记录:每份记录有自己的doc_id,并至少包含文书类型、案件类型、案由、法院、落款日期和脱敏后的全文。对民事一审,常见组合是起诉状、答辩状和裁判文书;如果裁判文书无法合法取得,可在项目书面确认的范围内交付“案情事实+起诉状”“案情事实+起诉状+答辩状”或“起诉状+答辩状”。二审、再审和执行阶段不能简单沿用一审字段,应记录上诉状、上诉答辩状、再审申请书、再审答辩状、执行申请或执行异议等不同角色。
刑事领域也不能把“起诉状”和“答辩状”机械套用。公诉案件更接近裁判文书、起诉书或公诉书、辩护词的组合,自诉案件则可能出现自诉状与辩护意见等角色。行政案件还要区分行政处罚、行政许可、行政强制、行政不作为、政府信息公开和行政确认等行为类型。国家赔偿至少需要区分行政赔偿和刑事赔偿,执行案件则应区分执行申请、执行异议和与执行相关的特殊诉讼。文书名称不同并不意味着任务不同,关键是每个角色在案件推理链中承担什么功能。
配对关系必须是显式字段,而不能靠文件名或相似文本推断。一个合格的pair_id需要有证据支撑:案号、当事人或其稳定替换标识、案由、法院、关键事实、审判阶段和时间线至少应形成可核验的交叉信息。若起诉状说的是合同纠纷,答辩状却只对应另一个事实背景,哪怕两篇都含有“违约”“赔偿”等词,也不应为了扩大规模强行配对。无法建立稳定关系的文书可以进入孤立文书集,但不能伪装成配对样本。
图1|司法文书配对数据的最小单元。技术示意,不代表已验证性能或既成项目。
二、案由标签要能支持司法统计,也要能支持模型任务
案由不是随意生成的主题词。最高人民法院公布的修改后《民事案件案由规定》自2026年1月1日起施行,明确民事案件案由原则上依据当事人诉争的民事法律关系性质确定,并形成纵向十二个部分、横向四级结构;公布说明列出第一级案由12个、第二级59个、第三级514个和第四级470个1。因此,民事标签体系至少应保留官方层级、原始案由文字、映射后的规范编码和映射依据,而不是只保留一个粗粒度的“民事/合同”标签。
项目要求民事覆盖合同、侵权、婚姻家庭、公司、物权、金融、劳动等主要领域,并达到不少于50种案由、占总量60%以上时,验收不能只看总数量。应按案由层级和案件难度做分层统计,报告每个一级或二级簇的样本数、配对完整率、脱敏合格率和专家复核量。一个拥有大量简单民间借贷案件、却几乎没有劳动、公司、知识产权或行政交叉争议的集合,不能被“案由总数达标”掩盖分布失衡。
刑事覆盖同样需要明确口径。需求段若写“主要罪名不少于30种”,验收段又写“不少于50种”,这不是可忽略的措辞差异,而是会直接改变采购范围、采集成本和是否合格的合同冲突。项目启动前应将其改成一个唯一、可执行的阈值,或者明确“交付目标”和“最低验收线”分别是什么,并规定按罪名、刑法章节、公诉/自诉、审判阶段分层统计。行政案件的十类行为也应给出标签字典与正反例,避免把“行政案件”这一大类当成十种行政行为。
时间标签要以文件落款日期为起点,但不能把日期当作法律有效性的唯一依据。2023—2026年形成的文书可能引用更早的法律,也可能在2026年规则变化后需要重新映射案由。每条记录宜同时保存文书日期、数据入库日期、法规核验日期和案由字典版本。对法律模型而言,训练输入中的“当时有效规则”和评测时的“当前有效规则”可能不是同一个切片,必须在数据卡里写清楚。
三、脱敏不是查找替换,而是跨文书的身份一致性约束
司法文书通常含有姓名、机构、地址、联系方式、金额、账户、证件、案号和可推断身份的组合信息。个人信息保护法将收集、存储、使用、加工、传输、提供、公开等都纳入个人信息处理,并要求处理遵循合法、正当、必要和诚信原则,具有明确合理目的且限于最小范围2。对同一案件组来说,单篇文书里的姓名被替换,并不代表风险已经消失:如果起诉状把同一主体替换为“甲”,答辩状却替换为“乙”,既破坏了法律逻辑,也可能暴露原始身份关系。
较稳妥的做法是建立“主体映射表”,在受控环境中为自然人、公司、机关、法院和其他组织分配项目内稳定标识,再按公开交付规则生成一致的替换文本。主体映射表与交付文本应分离保存,交付方不应把可逆映射一并提供。金额和日期也不能无条件全部模糊化:如果金额是诉讼请求或违约责任计算的关键,完全抹除会损害推理结构;如果金额、地址或账户能与公开事件组合定位个人,则应采用区间化、比例化或结构保留的替代方案,并由专家复核法律含义是否改变。
“去标识化”和“匿名化”也不应混写。个人信息保护法把匿名化定义为无法识别且不能复原,把去标识化定义为在不借助额外信息时无法识别;两者在治理、风险和是否仍属于个人信息的判断上不同2。因此,交付文档应说明采用的是可逆的受控去标识化,还是尽可能不可复原的匿名化,而不能用“已脱敏”四个字代替风险说明。
若数据由外部机构委托处理,合同应明确处理目的、期限、方式、信息种类、保护措施、返还或删除和禁止转委托。向另一处理者提供或公开信息,通常还会触发单独同意、影响评估或其他特别要求,具体要结合国家机关、司法公开、历史公开和项目授权的法律基础判断2。数据安全法要求根据重要程度和泄露、篡改、破坏或非法利用的危害程度实行分类分级保护,并建立全流程数据安全管理制度3。这意味着来源凭证、授权范围、访问日志、导出批次和销毁记录都属于交付证据的一部分,而不是采购后的行政附件。
四、把质量阈值拆成可复核的验收对象
“数据质量高”不是验收项。可执行的验收至少分成四层。第一层是来源与合规:抽检样本能否追到合法来源、授权范围和允许用途,是否存在不应公开的案卷、证件、联系方式或未清理的项目身份。第二层是文书完整性:标题、主体信息、诉讼请求、事实与理由、法律依据、落款和全文连续性是否存在;截断、乱码、空模板、低于合理长度且无解释的文书应单独统计。第三层是配对逻辑:配对文书是否属于同一案件,案号、主体、案由、事实、法院和阶段是否一致。第四层是集合属性:案由分布、罪名分布、案件类型比例、时间范围、重复率和训练/测试切分是否符合约定。
本类任务可以把脱敏抽样合格率设置为不低于98%,配对逻辑一致性和文书内容质量分别设置为不低于99.9%,文书级与配对级重复率不高于0.01%。这些阈值不是法律法规自动规定的行业统一标准,而是采购方与交付方之间的项目验收条件;阈值越高,越需要事先定义抽样框、置信边界、缺陷严重度和回修方式。尤其是99.9%这种高门槛,不能只报一个平均数字,还应列出严重错误数、每种错误类型、抽样分层和未纳入统计的例外。
文书级重复可以用doc_id、规范化全文哈希和近似文本指纹交叉判断,配对级重复则需要检查pair_id及案件主体、文书角色和全文组合。相同案件的格式转换、扫描版与文本版、不同脱敏版本,不能被拆到训练集和测试集两侧。跨配对全文完全相同应直接拦截;高度相似的模板化文书则要报告相似度分布,防止模型只学会固定套话。
法律适用错误更需要专业抽检。验收规则应区分法条编号错误、引用已废止规则但未注明、条文内容与案件不匹配、当事人观点与法院认定混淆等问题。法规库必须保存发布机构、版本、施行与废止状态,不能因为某段文书曾经引用过某条款,就把它当成今天仍然有效的答案。当前案由规则的发布说明也强调案由有层级、确定标准和变更方法1;数据集因此应保留历史标签与当前映射,而不是覆盖旧值后失去时点信息。
图2|从样本到交付版本的验收闸门。技术示意,不代表已验证性能或既成项目。
五、专家工作不是最后盖章,而是建立争议可追溯性
起诉状和答辩状天然具有对抗性。双方对事实、证据效力、责任比例和法律适用的表述可能不同,不能把“不一致”一概视为数据错误。质控团队应先区分四种情况:同一案件的合理立场差异、脱敏造成的表面差异、录入或配对错误、以及需要法律专家判断的事实或法条问题。每种情况都要有处理路径,不能为了提高一致率而强行把答辩状改写成裁判文书口吻。
建议设置至少三类角色:数据工程人员负责格式、字段、哈希和分布检查;法律标注人员负责文书角色、事实要素、诉请、法条和案由映射;资深专家负责高风险样本、争议仲裁、指南修订和最终抽检。专家审核应保留依据片段、指南版本、意见分歧、仲裁结论和回修前后差异。对涉及未成年人、性侵、家庭暴力、精神健康、医疗、国家赔偿或刑事侦查细节的样本,还应设置更严格的最小化和升级规则,不因它们对研究有价值就自动进入公开交付。
“专家参与”本身也不是准确率证明。公开法律数据页面把法律数据分为裁判文书、法规、合同审查、问答和司法推理等方向,并说明目录规模是沟通口径、授权质量与交付以数据卡和书面确认为准7。这类能力表明可以围绕任务组织数据方案,但不能据此推断某个具体采购项目已经完成,也不能把网页目录数字写成现货库存。实际交付还要以试标样本、人员配置、权限审计和验收记录为准。
六、从配对数据到模型评测:避免把判决结果当唯一真值
配对文书可以支撑多个任务,但每个任务的输入、标签和评价方法不同。对文书结构理解,可把标题、诉讼请求、事实理由、证据指向和法律依据做成段落或跨度标签;对跨文书一致性,可将主体、时间、金额、案由和争议焦点建成关系边;对检索增强,可把法条、司法解释、案由规则和裁判依据按版本挂接;对生成任务,可把起诉状到答辩状、案情到文书、诉请到争议焦点分别定义为不同条件,不宜混成一个“生成正确率”。
训练和测试的最小切分单位至少应是pair_id,更严格时应按案件来源、法院或时间窗口做分组切分。否则同一案件的起诉状出现在训练集、答辩状出现在测试集,模型即使没有真正理解法律关系,也可能凭主体和事实复述获得虚高分。对同一文书的OCR版本、脱敏版本、摘要版本和结构化版本,也应在切分前建立血缘关系。评测报告要明确是否测试抽取、配对、检索、生成、法条有效性或人工可用性,不能用一个总分概括所有任务。
LegalBench是一个由法律专业人员参与构建的协作式法律推理基准,包含162个任务、覆盖六类法律推理,并强调任务设计与法律实践相关5。它说明“法律推理”需要拆成多个可描述的任务,但其英文法域、题型和标注协议不能直接替代中国司法文书配对数据。LexGLUE则将多个既有法律语言数据集统一到标准化评测框架,用于观察模型在不同法律自然语言理解任务上的泛化6。对本项目而言,可借鉴的是按任务、输入、标签、切分和指标写数据卡,而不是借用外部基准分数宣称中文诉讼文书模型已经可靠。
研究建议也不等于实际交付。可以建议用规则引擎做日期、金额和主体一致性初筛,用检索模型发现疑似同案文书,用实体链接和关系抽取形成案件图,再用法律专家处理复杂争议;但只有在本项目样本上完成独立测试,才能报告召回率、误报率、人工修改量或时间收益。不能因为某篇论文在某个基准上有效,就声称本数据集已经达到相同效果,更不能把模型输出的判决预测当作司法结果、律师意见或胜诉保证。
七、交付物要能让下一支团队复现和追责
一个可交接的版本不应只有TXT、DOCX或JSON文件。建议同时交付数据字典、字段约束、案由和罪名字典、文书角色说明、脱敏规则、授权摘要、质量抽检报告、重复检测报告、配对冲突清单、版本号、哈希清单、切分清单和环境说明。对每个例外,记录是排除、保留为研究集、降级为单文书,还是经过专家仲裁后进入主集。若未来法规或案由规则更新,应新增版本并记录受影响的样本,而不是覆盖旧版导致训练和评测无法回溯。
发布前可进行一次端到端演练:随机抽取若干案件组,从来源登记开始,检查授权与敏感字段;再核对文书角色、主体替换、案由、时间、法院和事实;随后运行重复、字段、比例和切分检查;最后打开导出包,确认字典、质量摘要和版本标识与数据一致。演练中发现未脱敏、错误配对、引用失效法规或测试泄漏,应验证系统能否拦截,而不是只在报告里写“已整改”。
围绕法律数据基础设施,公开能力通常包括采集、清洗脱敏、格式标准化、标注、质量管控和交付等环节。公司公开介绍将LangData定位为覆盖这些环节的平台,并强调质检层级、授权血缘和项目约定的重要性8。这可以作为方案设计和PoC讨论的能力参考;实际项目仍需确认数据来源、授权主体、部署方式、人员角色、保存期限、交付格式和验收指标。尤其不能把研究建议、平台功能描述、目录规模或历史页面中的宣传数字改写成司法机构背书、榜单性能、固定库存或法律资质。
八、一个更稳妥的实施顺序
第一阶段先做小样本试标,而不是直接承诺五万组。试标应覆盖所有案件类型和高风险文书角色,至少让团队暴露案由字典冲突、主体替换不一致、阶段混淆、法规时点和授权缺口。第二阶段冻结数据卡与标注指南,解决需求段与验收段的阈值冲突,明确哪些比例是目标、哪些是最低线,并规定返工、替换和争议仲裁。第三阶段按来源、案件类型、案由、审判阶段和年份扩展,持续观察长尾类别而不是只追求总数。第四阶段在案件级切分后建立独立测试集,分别评估结构抽取、配对判断、检索、生成和专家可用性。第五阶段在交付前做权限、日志、删除和版本冻结检查,并把未通过样本和失败原因一起归档。
这条路线的核心不是把法律材料变得更像普通文本,而是把案件关系、法律时点和证据链保留下来,同时把不应暴露的信息降到最低。对于法律AI,覆盖面、文本量和模型分数都只是条件变量;能否追溯来源、解释标签、复核争议、阻止泄漏并在法规变化后重建评测,才决定数据是否成为可持续使用的资产。
本文为AI辅助整理,供研发与数据工程交流;不构成个体法律意见、律师服务、司法结论、合规审批或生产安全认证。具体项目应由具备相应权限的法律、数据安全与业务专家复核,并以书面授权、数据卡和验收文件为准。


