跳至正文
朗慧科技

DATASET RESEARCH / LEGAL

中文法律法考题库:把题目、法条版本与可复核解析做成训练数据

围绕中文法律法考题库,拆解题干、选项、答案、解析与法源版本,提出专家复核、去重、污染控制和可执行验收方案。

法律与司法数据AI辅助整理 · 研发交流

法律模型训练最容易被低估的,不是题目数量,而是“这道题在什么法域、什么时间、依据哪一个有效文本、为什么这个选项成立”。一份面向中文法律学习与职业资格备考的题库,如果只有题干和一个字母答案,模型可能学会答题套路,却未必能区分现行法与旧法、法条结论与事实推理,也无法在答案争议时回到证据位置复核。

本文围绕一项真实的法律法考题库数据需求,讨论如何把题目、选项、标准答案、详细解析和版本元数据组织成可训练、可评测、可回归的数据资产。需求说明给出的量级是数百万级,覆盖法学、职业资格以及部分相关社会科学学科;这些数量属于待核验的需求口径,不是现货库存或已完成交付的证明。本文也不把题库分数写成司法预测、法律意见或律师服务结果。

一、先定义任务边界:这是法考题库,不是案件库

该需求的主任务是中文法律专业知识与考试型推理。最小样本可以是一道单选或多选题,也可以是包含题干、选项、答案和解析的结构化记录。它服务于法学教育、课后巩固、职业资格备考和模型训练评测,和真实当事人的起诉、答辩、证据交换、裁判文书配对并不是同一类数据。

这个边界很重要。法考题可以有一个规范答案,但真实案件往往存在待查事实、证据能力争议、裁量空间和程序选择。题库不应被包装成“判决结果标签”,更不应把一道题的答案外推成某个个人案件的胜诉概率。涉及真实案件的起诉状、答辩状、裁判文书和案情事实,需要单独的授权、脱敏和配对规则,不能因为都属于法律领域就并入本题库。

法域也要先锁定。若题目是中国大陆法,就应在元数据中明确 jurisdiction=CN-mainland,将美国判例、港澳台法域、国际公约和比较法材料另行分层。题面出现“依现行法”“截至某日有效”时,还要将截止日期写入版本记录;没有日期的题目不能凭编辑者记忆补出“最新答案”。

二、样本单元:从“答案字母”升级为证据链

建议将一条题目记录设计为一个可回放的样本单元:md5 或稳定的 item_id 用于去重;text_question 保存题干与选项;is_pic_included 记录是否含图;text_answer 保存答案;answer_analysis 保存逐点解析;text_grade_level、subject、language 保存学段、学科和语言。JSONL 适合逐行流式处理,但必须配套数据字典、字段允许值和版本号,不能只交一堆没有说明的文本。

题干与解析要分开存储。题干负责表达考试输入,解析负责说明判断链。解析不能只重复“正确答案是C”,而应说明争点、适用规则、关键事实、排除其他选项的原因,以及法条或司法解释的定位。对于单选题,答案字段可以保存 C,同时保留标准化选项编号和选项文本;对于多选题,要固定顺序与集合语义,避免“AB”和“BA”被误判为不同答案。

还应为每题增加若干治理字段:法律依据的名称、条款号、来源URL、有效起止日期、检索日期、修订状态、题目难度、知识点、设题人和审核人角色、争议状态、数据分割标记。审核人身份不必出现在公开稿或训练文本中,但在受控交付记录里需要可追溯。若题目来自公开教材、考试真题或第三方题库,授权范围和允许用途要与样本绑定,不能以“网上可见”代替版权核验。

中文法考题库样本单元的结构化链路查看完整技术图(可放大)

图1 技术示意:从题目输入、选项与解析到版本化验收的样本链路,不含真实题目、客户数据或已验证性能。

is_pic_included 不是装饰字段。图片题可能包含流程图、表格、法条截图或考试材料。如果没有可公开的图像授权,就不能把原图直接放入训练集;应先确认授权,再决定是否保留原图、生成文字描述或单独标记为不可训练。OCR 结果也要经过人工核对,避免把图片中的小字、脚注和表格关系识别错后再生成错误答案。

三、法条时效:把“正确答案”绑定到法源版本

法律数据最危险的错误不是错别字,而是把曾经有效的规则当成当前规则。司法部对新修订《行政复议法》的官方解读明确记载:修订法于2023年9月1日通过,自2024年1月1日起施行,并调整了受案范围、申请便利、审理程序和监督纠错机制。5 因此,一道涉及行政复议申请、听证、证据或决定类型的题目,至少要保存法条版本和适用日期,不能只保留“行政复议法”五个字。

案由标签也会更新。最高人民法院公报公布的《关于修改〈民事案件案由规定〉的决定》增加了数据、网络虚拟财产和新就业形态用工等分类,并明确该决定自2026年1月1日起施行。7 对法律题库而言,这意味着旧版案由分类不能默默覆盖新版标签;如果题目考查旧法时期的案由,应标注历史适用时点,如果考查现行分类,则要按当前有效版本重新审核题干、选项和解析。

建议建立三层法源记录。第一层是正式法律、行政法规和有效司法解释,作为答案的主要依据;第二层是最高人民法院、司法部等官方发布的规范性解释、典型案例或办案指引,用于解释适用背景,但不自动等同于法律条文本身;第三层是论文、教材和学理讨论,只能作为辅助理解,不能替代现行法核验。研究数据集也应保存“依据等级”,防止模型把博客或营销文章生成成貌似具体的法律依据。

这不是要求每道题都变成法律意见书,而是要求题库拥有可检查的时间轴。对已经失效的依据,可以保留为历史题,但应标注 historical_validity、适用日期和“不可用于当前法结论”;对法条修订造成答案变化的题目,应保留旧版本与新版本的差异记录。法律专家复核的对象不是流畅度,而是法域、效力、适用条件和结论是否闭合。

四、题目与解析:区分记忆、理解和应用

法考题库不应把所有题目压成一个准确率。LawBench 将中文法律任务分成法律知识记忆、理解和应用三个认知层次,包含法条背诵、知识问答、文件校对、争议焦点识别、阅读理解、实体识别、法条预测、罪名与刑期预测、案例分析和咨询等任务;其开源说明还单独报告弃权率,以观察模型拒答或未理解指令的情况。1 这提示题库要为题目标注任务类型,而不是只保存一个总分。

对记忆题,验收重点是法条、术语和构成要件是否准确;对理解题,重点是能否从题干中识别主体、行为、法律关系和争点;对应用题,重点是能否把规则放回给定事实、排除不适用选项,并说明缺少哪些事实会改变结论。三类题的难度和评测方式不同,不能用同一套字面匹配指标替代专业判断。

解析应包含至少四个层次。第一层是争点:题目究竟问的是管辖、要件、法律后果、程序期限还是证据效力。第二层是规则:给出当前有效法条或可核验的官方法源,并写清适用条件。第三层是事实映射:指出题干中的哪些事实满足或不满足要件。第四层是选项排除:解释其他选项为什么不成立,尤其是它们是否混淆了撤销与解除、合法性与适当性、实体规则与程序规则。

“标准答案”也不总是单一事实真值。对于存在裁量或学理争议的题目,应把争议标为待裁决,说明考试口径与现实法律论证的差别;对于题干事实不足、依据版本冲突或多个选项均可能成立的题目,应退回改题,而不是硬塞一个答案。对于开放式解析,可将必答要点、可接受论证路径、不得出现的越界结论拆成评分量规,避免把更长的文字误当成更深的法律推理。

JUREX-4E 的研究提供了另一种可借鉴的结构化思路:它针对155个中国刑事罪名,用主体、客体、主观方面和客观方面组织专家标注,并按法律渊源效力和解释方法建立层次;研究还从准确性、完整性、代表性和规范化四个维度评价标注。3 该研究聚焦刑法罪名,不能直接代表所有法考学科,但其启示适用于本题库:解析要拆成可核验元素,法条、司法解释、案例与学理材料要分层,专家判断要保留维度而不是只留一个总分。

五、专家与质控:让每个结论可以被另一人复述

一个稳健流程至少需要三种角色:题目编辑负责事实完整、难度和选项设计;法律审核人负责法域、法条版本、答案和解析;质量复核人负责字段、重复、格式、来源和变更记录。题目作者不宜直接成为唯一终审者。对于争议题,应由第二名审核人独立判断,再由指定裁决人记录采用哪一条依据、为什么退回或放行。

可以把“专人、专审、专标”落实为记录,而不是宣传语。每条样本要有规则版本、审核状态和问题代码,例如 OUTDATED_LAW 表示法源过期,ANSWER_ANALYSIS_MISMATCH 表示答案与解析冲突,AMBIGUOUS_STEM 表示题干无法收敛,DUPLICATE_SEMANTIC 表示不同文字表达实际考查同一问题。这样返工时能统计错误机制,也能防止把同一题换几个词重复堆入训练集。

质检要同时看内容和分布。内容层面检查必填字段、选项完整性、答案是否在选项中、解析是否覆盖每个设问、引用是否存在、法条是否处于适用期;分布层面检查学科、学段、题型、难度、法域、年份和知识点是否偏斜。数百万级题库尤其容易出现模板化变体,MD5 只能查完全相同文本,还需要规范化文本哈希、近重复检索和人工抽检来发现“只换人名、金额或顺序”的伪独立题。

对法律依据的抽检应设置高风险门。任何涉及刑事罪名、行政处罚、诉讼期限、个人信息、劳动关系和资格准入的题目,都应优先核验正式法源和修订状态。官方典型案例可以帮助理解新法如何适用,但司法部发布典型案例时也明确其作用是为办案提供示范和指引;它们不能被改写为某一模型已经达到司法可用或某类案件必然得到同一结果。6

六、从试标到验收:建议把质量门写成可执行规则

第一道质量门是结构:每行可解析、核心字段齐全、选项和答案对应、图题标记与实际输入一致。第二道是法源:每条需要引用的法律依据都能链接到官方现行文本或明确标注为历史版本,并记录访问日、施行日和失效日。第三道是逻辑:答案、解析和题干事实互相一致,排除项不能被解析中的其他表述推翻。第四道是重复与污染:训练、开发、验证和隐藏测试按题目哈希及语义相似度隔离,不能把公开评测集原题混入测试后再宣称模型泛化。

一个可操作的试标包应包含通过样例、退回样例、边界样例和争议样例。验收记录不只写“质量好”,而要列出样本编号、字段检查、依据核验、复核人、裁决理由和返工范围。字段完整性、编号唯一性、选项计数、链接状态和总分重算可以程序校验;法条是否真正支持结论、题干是否足够明确、解析是否把历史法误作现行法,仍需要法律专业人员判断。

对于模型评测,建议分别报告法条记忆、要件抽取、事实归类、选项判断、引用定位、解析质量和安全边界。需要允许模型在材料不足时说明“不足以判断”,但拒答不能成为回避所有问题的通行证。每次运行要冻结模型版本、系统提示、上下文、检索权限、温度、输出长度和知识截止日;否则,分数变化可能来自运行条件而非数据质量。

研究基准的结果不能直接变成项目交付指标。LawBench 自身也提示,长文本生成不能只依赖 ROUGE-L,且模型可能见过测试数据,数据污染需要额外控制。2 同样,JUREX-4E 的下游实验是在特定罪名、任务和实验设置下进行,不能外推为本题库的榜单性能。这里提出的是研发路线和验收建议,不是某个模型已经通过考试,也不是司法机关、律师或监管机构的认可。

法源时效与法考题库验收流程查看完整技术图(可放大)

图2 技术示意:法域、效力日期、引用链、专家复核和评测隔离之间的关系,不代表模型已通过考试或形成司法结论。

版本回归还应有一个“受影响题目清单”。当一部法律修订、司法解释替换或案由分类变化时,先由规则映射找出引用该法源的题目,再按直接引用、间接引用和仅涉及术语三类分层复核。直接引用的题目必须重新核对答案和解析;间接引用的题目要检查事实要件是否因规则变化而改变;仅涉及术语的题目也要确认标签没有与新版分类冲突。旧版样本不必全部删除,但要从当前评测集隔离,并在数据卡里说明它们只用于历史版本训练或迁移研究。

同一套回归题还应保留“人工金标准”和“模型观察结果”两列。人工金标准记录法源、争点、可接受答案及不接受的越界表达;模型观察结果记录具体版本、提示、检索材料和输出,不把模型生成的解释反过来当成法律依据。若模型引用了不存在的条款、把已废止规则写成现行法,或在事实不足时给出确定性诉讼建议,应进入错误归因和停线记录,而不是通过平均分掩盖。这样的设计使题库既能支持后训练,也能作为版本升级后的独立回归集。

七、交付方式与业务价值:先把可追溯性做成资产

在项目范围明确、数据来源和授权可核验的前提下,AI 数据基础设施团队可以围绕中文法律题库组织采集、清洗、去重、字段标准化、专家审核、版本化和 JSONL 交付。官网公开定位强调按任务组织数据、以数据卡和书面确认为准;这意味着题库的学科范围、法域、时间窗、是否含图、是否允许训练和验收抽样,都应写入项目规格,而不能用目录数量替代采购判断。

对研发团队,结构化题库的价值在于能把“模型答错了”分解为法条记忆错、事实要件漏、版本过期、依据不对、选项排除失败或解析越界。对教育与评测团队,价值在于可以按学科、难度、年份和知识点做回归测试,观察新模型是否只在熟题上提升。对数据工程团队,价值在于字段、来源、审核和变更记录能够形成可审计的数据血缘。

交付包不应只有 JSONL 文件。建议同时提供数据字典、标签枚举、法源清单、版本变更表、授权范围说明、去重报告、抽检记录、争议裁决表和错误样例集;若包含图片题,还要提供图像许可状态、OCR或人工转写状态及不可训练项清单。买方拿到样本后,应能从一条题目的标识回到对应解析、法源和审核记录,也能在下一次法条更新后快速找到受影响题目。这样,题库才是可维护的数据资产,而不是一次性导出的文本压缩包。

但这些价值都以边界为前提。题库不提供个体法律意见,不替代律师、法官、教师或考试主管部门的判断;题目答案不保证真实案件的裁判结果;研究建议不等于已经交付的库存、榜单性能或司法落地。若法条更新、题库授权变化或评测规则改变,应重新冻结版本并复核受影响样本。

AI辅助整理,供研发与数据工程交流;不构成个体法律意见、律师服务、司法结论或资质审批。实际授权、法源版本、专家配置、交付规模与验收阈值,以项目书面确认和适用辖区的现行规定为准。

参考来源

  1. LawBench: Benchmarking Legal Knowledge of Large Language Models
  2. LawBench 开源项目说明与任务清单
  3. Juridical Expert-Annotated Four-Element Knowledge Base for Legal Reasoning
  4. JUREX-4E: Juridical Expert-Annotated Four-Element Knowledge Base for Legal Reasoning
  5. 认真贯彻实施新修订的行政复议法全面提升新时代行政复议工作水平
  6. 司法部发布贯彻实施新修订的行政复议法典型案例
  7. 最高人民法院印发《关于修改〈民事案件案由规定〉的决定》的通知

FROM INSIGHT TO YOUR PROJECT

让专业洞察,成为您的数据方案

围绕本文的技术路径与应用场景,和朗慧聊聊您的数据需求。

本文咨询主题:中文法律法考题库:把题目、法条版本与可复核解析做成训练数据

业务电话137-5502-0164业务邮箱lk@langhuiai.com
朗慧业务联系人微信二维码,扫码添加联系人
微信沟通

扫码添加业务联系人
或点击二维码查看原图

查看原始微信名片

提交您的项目需求

业务团队将在工作时间内与您沟通。带 * 的为必填项。

* 联系电话或邮箱至少填写一项。

请勿填写个人病历、身份证号、合同原件内容或其他敏感信息。本文标题与链接将随需求提交,便于业务团队理解咨询背景。