图 1|概念性数据结构示意,非现有库存数量或已完成流程证明。
一、采购标准的强项与待澄清点
把单个任务作为最小交付与验收单元,比只按“题目条数”报价更科学。标准提出 prompt、参考材料、golden、至少六条 rubric、可运行 Judge 和 task.toml 等要素,利于自动化校验和复现。但附件里不同章节对目标模型门槛、基线数量、重复运行次数和 Judge 组成有不同表述。采购前必须形成唯一版本的优先级规则,注明适用任务、模型版本、温度、统计方式、失败重测和争议处理。任何数字都须先澄清再进入合同。
二、任务包目录结构与字段
建议每个任务有稳定 ID、领域标签、风险等级、语言、难度依据、创建者、来源权利、数据版本、预期时长、环境依赖和评分版本。Prompt 只写参与者可见指令;隐藏参考材料与评分逻辑隔离。Golden 可包含可验证事实、允许的替代答案和引用位置。Rubric 按事实、步骤、约束、安全、格式分别给出机器可读字段和权重。task.toml 应能声明运行命令、超时、资源限制、网络权限、随机种子和清理规则。
三、Rubric 要测量任务目标
六条 rubric 不应只是同一标准的近义改写。每条要有判定对象、正反例、分数边界、适用前提和来源。对开放式研究任务,rubric 应评估引用证据是否支持结论、是否遗漏关键反证、是否标明不确定性;对工具任务,应核对调用顺序、参数、状态变化与最终产物;对医疗任务,应由专业人员确认安全边界和临床事实。应测试评分员对答案格式、长度、文风变化的敏感性,防止模型只学会迎合评分表。
四、Judge 可执行并不代表有效
程序能跑通,只能说明接口和环境可用。验收需另测 Judge 对正确、错误、等价表达、缺失字段、恶意输入、边界值及工具异常的判定。确定性检查器适用于可机械判断属性;语义 Judge 需用人工金标准校准,并报告一致性、混淆矩阵和失败例。多 Judge 组合应说明各自职责、盲测方式和冲突仲裁。保留 verifier 版本及测试集哈希,禁止在同一评测集上反复调参后仍称独立测试。
五、真实、合成与难度分层
标准要求任务真实、多样、有挑战,必须将真实业务材料、公开许可材料、合成数据和人工构造边界样例分别标记。合成样例适合测工具逻辑、格式约束和安全行为,不代表真实世界分布。难度不能只靠专家主观标注,应结合固定模型在受控环境中的成功率、步骤数、错误类型和对照基线来定义,并避免以单个模型的弱点作为通用难度。任务描述、参考材料和答案之间也要做污染检查。
六、评测门槛应可复现
采购验收应冻结模型版本和服务日期,记录 API 或部署配置、提示词、采样参数、上下文窗口、工具权限和计费限制。多次 rollout 报告成功率分布,而非只挑最佳样本;SOTA 基线要明确模型身份及可用性。若标准写“至少三种 Judge”或特定模型,应说明不可用时的替代规则。数据方需提供原始输出、评分明细、运行日志与环境镜像摘要,购买方可抽取任务独立重跑。
七、对数据运营的要求
朗慧可以把采购标准产品化为“任务规格审查—环境封装—规则审计—难度测量—样本交付—复现实验”服务。每批交付不仅是任务 JSONL,还应含版本清单、依赖许可、运行脚本、Judge 验证报告、人工抽审记录和已知限制。把不合格任务退回并记录根因,是能力的一部分。当前标准是采购目标,只有经过样例批次、权利审查和采购方复测后,才可标为通过验收。
八、冲突阈值怎样写进合同
当附件多个章节给出不同的模型通过比例、基线数量或重复次数时,应建立单一“验收参数表”,每一参数标注来源页码、优先级、适用任务类别和最终签署值。以文字说明“按较高标准执行”不足以消除歧义,因为分母、模型可用性和统计口径仍会变化。签约版本应冻结模型快照日期、异常处理、超时任务是否计失败、重复运行如何汇总、置信区间如何计算,以及购买方能否对样本进行独立复测。
九、数据层级与文件互操作
任务包推荐由 task.yaml/toml 描述元信息,JSONL 保存任务实例,JSON Schema 校验输入和输出,参考附件通过不可变文件名和校验和引用,Judge 以容器或受限进程运行。交付需声明编码、换行、字符规范、时区、资源限制、外部网络访问、随机性及依赖许可证。版本更新时使用语义版本或明确兼容规则,保证旧任务仍能在锁定环境重放。对含敏感信息的材料,默认不打包进公共仓库,采用受控对象存储和短期访问授权。
十、任务难度和质量抽检
难度等级应建立在可复现的先导模型测试与人工复杂度标注上,记录至少一个强基线、一个常用基线及其版本;遇到模型无法部署,需在附件中约定替代评估,而不是静默跳过。抽检按任务类型、领域和难度分层;高风险任务提高抽检比例。提交方需报告近重复、公共 benchmark 污染、训练答案泄漏和引用材料失效。抽样应由采购方或独立团队在任务全集中抽取,避免供应方只送最好案例。
十一、评测日志与可重复性
每次运行写入 run_id、任务集版本、代码版本、镜像摘要、机器规格、模型端点、提示词哈希、采样设置、起止时间、输出哈希、Judge 结果和错误日志。对工具结果需保存快照或稳定引用;外部 API 若变化,应提供记录回放机制。不同批次的成绩只有在配置一致时才可比较。服务型模型更新后需建立变更评估,任何“通过率”都注明评测日期与置信区间,不把短期单次结果包装为长期稳定性能。
十二、交付物与拒收机制
建议交付包括任务数据、Schema、校验脚本、运行环境、Judge 源码或可执行镜像、测试集、专家审核记录、许可清单、风险等级、复现报告、已知缺陷和修订日志。拒收条件需覆盖文件损坏、关键字段缺失、无法复跑、黄金答案争议、权利不清和严重评分偏差。整改后重测需使用新批次或盲测样本,不能只在原失败项上局部修补。将这些条款落入合同,才能把“可执行”提升为“可采购、可复现、可审计”。
从“文件集合”到可训练任务
数据集不是把影像、病历或轨迹装进压缩包就结束。面向基础模型预训练,需要来源可追溯、模态可解码、重复与污染可识别、分布可描述;面向监督微调,需要样本与任务、输入输出、参考答案及标注依据一一对应;面向偏好优化和强化学习,还要定义状态、动作、约束、奖励或可验证结果,并保留失败样例。三类用途可以共用底层实体和来源台账,但不能把同一条记录不加区分地重复计入训练、评测和验收。
以原始证据为锚点
工程上建议建立不可变原始层、标准化层、标注层和发布层。每个文件及派生对象记录来源批次、采集时间、授权文件编号、设备/软件版本、转换工具版本、校验和、脱敏策略和责任角色。转换只生成新版本,不覆盖原件;标注保存坐标、时间戳、标签、置信度、指南版本和复核记录。这样才能重建“模型看到的输入来自哪里、经过什么处理、谁作了什么判断”。
把切分与评测设计前移
医学与金融数据尤其容易发生主体泄漏和时间泄漏。应优先按患者、账户、家庭、建筑项目、设备或源机构分组,再按时间设定训练、验证、测试;同一患者的检查、报告和住院文书不得跨集合泄漏。测试集来源、标签和访问权限单独管理,冻结版本并记录哈希。内部随机切分只说明同分布表现,不能替代跨医院、跨设备、跨市场或前瞻性外部验证。
以错误分析驱动补数
总体准确率会掩盖少数群体、低频类别和关键边界条件。交付数据卡应同时报告单位定义、纳入排除规则、缺失率、重复率、字段完整率、标签一致性、类别分布、机构/设备/时间分布及置信区间。对困难样本、阴性样本、模糊样本和真实世界失败样本设置独立清单。数据补采的优先级应由下游错误成本与不确定性决定,而不是单纯追求更大数量。
用可复核的流程体现运营能力
朗慧可把能力落实为可审计的工作包:需求映射、权利与伦理核验、样本盘点、格式转换、双人标注、专家仲裁、自动化质检、盲测抽检、数据卡和版本发布。每个环节都应有输入、输出、责任人、判退条件和留痕。页面介绍的是拟构建方向,不等于已完成采购、取得授权或达到客户验收;正式承诺应以逐批数据清单、许可证明、样例评测和合同附件为准。
落到字段:最小交付实体
本方向建议以“一个可运行任务包”作为主要实体,并为患者/项目/检查/会话等上层主体保留受控关联键。每条记录需要稳定 ID、数据版本、来源批次、采集或事件时间、生成/转换软件版本、权利依据状态和责任角色。字段级数据字典需要列出类型、单位、允许值、空值语义、原始来源和变换规则;派生标签应保留原文或几何证据指针。交付方要同时提供样本计数脚本和去重逻辑,采购方才能重算数量。
质控要覆盖的方向特异指标
除通用完整性外,至少跟踪:Schema 合法、附件哈希稳定、环境可重建、许可可核验、Judge 输入输出明确、阈值唯一。指标应分别报告总体、批次、机构/设备和关键子群分布,列明统计分母、抽样方法、缺失处理和置信范围。数据异常不能只以“已清洗”概括,要保留缺陷类别、处置动作、返工数量和豁免依据。若某项指标不可计算,应明确原因与风险,而不是用空值掩盖。高风险字段可设置自动阻断阈值,但阈值要由项目方与领域专家签署确认。
任务设计围绕可观察能力
适合构建的训练和评测能力包括:工具调用顺序、状态依赖、证据引用、程序执行、结果校验、失败恢复与终止条件。每个任务包需定义目标输入、可用信息截止点、输出结构、参考证据、允许的替代答案、失败边界和人工升级条件。监督微调数据可强调正确映射和证据引用;偏好数据需成对呈现质量差异及判据;RL 环境则必须加入状态、动作、工具权限、终止条件和奖励验证。不能把不同任务类型合并为一项综合分数,也不能用语言流畅度替代专业正确性。
必须主动测的失败模式
测试集要明确覆盖:验收冲突、依赖漂移、模型不可用、评分噪声、公共答案污染、外部接口变化和评测集调参。针对每类错误准备最小反例和近似正例,检查标注者与 Judge 是否稳定区分。训练集、调参集和最终盲测集按主体及来源分开;所有派生版本记录样本哈希,审计重复与答案污染。对稀有但高后果的边界案例,单独报告样本量和不确定性,禁止把平均指标解释成全人群保证。发现错误时,要能定位到数据来源、字段、标注规则或模型组件。
客户可独立复核的验收包
本方向建议以如下证据作为可交付门槛:采购参数冻结表、独立抽样复测、镜像摘要、日志完整率、人工金标准与缺陷关闭凭据。此外提供数据卡、字段字典、来源与许可清单、去标识化说明、质量报告、标签指南、版本差异、样例使用协议和已知限制。验收抽样由双方约定的随机种子或采购方独立抽取,并保留复核过程。涉及敏感信息的样例应在受控环境检查,不能通过邮件或公开网页传递原始记录。任何数量、准确率或完成率都注明测试日期、批次、分母及责任签署人。
治理、合规与用途边界
任何敏感数据都必须先回答“谁有权提供、为何可处理、谁可以使用、能否再分发、何时删除”。健康与精神健康记录属于敏感个人信息场景,不能仅凭删除姓名就宣称匿名;影像标签、稀有事件、机构和时间组合仍可能重新识别。应完成合法处理基础、必要性与最小化评估、单独同意或其他适用基础核验、伦理审查、访问控制、加密、导出审批、日志审计和到期删除设计。跨境、商业训练、公开发布和模型权重再分发分别核验。
复现、漂移与版本发布
建议为每次构建生成批次快照,固定输入清单、转换代码、标注指南、模型和评测器版本;关键步骤有变更时,不覆盖已发布版本,而是生成新版本并写明变更原因、影响字段、受影响样本数和回归测试。定期检查来源接口、设备软件、指南、市场数据或业务模板变化。若分布漂移超出约定范围,应暂停自动发布并重做代表性抽检。客户引用数据卡时可以定位到批次和版本,朗慧内部也能从缺陷报告回溯处理责任。
从数据质量到业务价值的闭环
运营指标应与模型风险和客户工作流连接:数据是否覆盖目标场景、标注分歧是否集中在高价值边界、模型错误是否能通过补采或规则调整降低、每轮迭代的成本和质量是否可解释。建议设置需求提出、样例验证、权利审查、工程构建、专家复核、买方盲测和售后监控等阶段门,每阶段明确责任人及退出条件。复盘不仅记录通过的样本,也要记录拒收、授权不足、格式失败和模型失效案例,使下一批建设有证据而非凭经验扩量。
发布与持续运营的管理指标
产品运营应分开追踪需求确认周期、来源核验通过率、样例到正式批次转化率、字段和格式一次验收率、专家复核分歧率、返工周期、客户复测差异及版本更新影响。指标须注明计数单位、统计时间和样本范围,避免用“交付量”掩盖权利材料或质量缺陷。每次发布前由数据负责人确认数据卡与页面描述一致,法务/隐私负责人确认允许用途,技术负责人确认格式及复现,领域专家确认标签规则。发生版本变化时同步更新目录、数据字典、样例协议和客户通知记录。
参考资料与技术依据
- ToolSandbox, Findings NAACL 2025
- DeepSeek-R1, Nature 2025
- Generative Verifiers, ICLR 2025
- Noisy Imperfect Verifiers (preprint)
论文用于说明方法和研究方向;结果依赖其数据与实验条件,不直接证明本页面所述数据已经建成或可用于特定部署。
联系朗慧,讨论样例与数据方案
朗慧科技
电话:137-5502-0164
邮箱:lk@langhuiai.com
地址:长沙高新开发区文轩路27号麓谷钰园F1、F2栋2006房
请注明关注的数据方向、用途、模态/字段、预期规模和交付时间。具体范围以授权核验及双方书面确认结果为准。