跳到主要内容
朗慧科技

朗慧 · 后训练

把后训练采购,收成一张可签的 SOW

AI Coding、Agent 环境、DeepResearch、AI 安全四条能力线,统一到训练燃料、私有终评与验收口径——先选型,再谈规模与周期。

POST-TRAIN · CAPABILITY MAP

四条能力线,怎么拼成一次后训练采购

面向采购与算法共同决策:先按能力目标组合板块,再进入训练 / 评测 / 多模明细与可签 SOW。页面数字是定制参考规格,以项目模型、harness 与合同清单重标定为准。

四大板块 × 后训练用途映射

板块 后训练主用途 典型交付 算法侧关心什么 入口
AI Coding SFT/RL 编码能力;仓库级与长程工程;偏好对齐 仓库快照 · Harbor Task · 轨迹/diff · Arena 成对偏好 pass@k、Resolved、轮次、Harbor 可跑、难度未饱和 矩阵 · 本页
Agent 环境 工具调用 / 流程自动化后训练;私有终评;MCP 编排 Task+env+Rollout · 模拟 Server · MCP · Rubric/gold/wrong 4-run 标定、强弱区分度、20+ 工具步、状态断言、污染隔离 专页
DeepResearch / 多模 长链推理与调研;过程监督;视觉/文档 RD 放量 证据链 · 报告五要素 · 数学证明 · 多模答案键 · CoT recover 答案唯一性、证据可核验、无工具协议、domain 均匀、avg@k 难度带 专页 · 多模
AI+安全 Security LLM SFT;红队/对抗;检测与狩猎技能对齐 攻击/检测规则对 · ATT&CK TTP · 技能训练轨迹 · 五元组关联结构 战术/技术覆盖、可执行标签、攻防配对、安全拒绝与有用性平衡 专页

BUYER MAP

同一套资产,四种决策问题

顶级运营 / 商务

先定「训练盘 / 评测盘 / 多模 RD / 安全」分账,再谈单价与周期。用 SOW 七段锁验收,避免把评测 50 题和训练 3,000 混成一个数。入口:验收 SOW → 缺口评估。

AI 数据专家

盯 TaskShape:附件数、Rubric 字段、gold/wrong、environment_notes、Evidence、盲评角色分离、污染检索、Harbor/Server/MCP 可复现。GDPval / Harvey 是专业任务包样板;安全侧看五元组与 ATT&CK 覆盖。

算法工程师

盯可训信号:Rollout 轨迹、失败归因、偏好对、CoT recover、工具调用金标准。盯未饱和难度:4-run passrate 带、强弱区分度、长轮次下界(NL2Repo≥100 / Frontier≥200)。环境必须能在约定 harness 下复现。

后训练模型客户

买的是闭环:样例门禁 → 标定 → 放量 → 私有终评 →(可选)订阅换题。要求训练/评测分流、版本钉扎、拒收条款写进合同。安全模型客户另加红队与检测配对验收。

训练参考盘

约 8,900 Task(Toolathlon 5,000 + Automation 3,000 + NL2Repo 200 + Frontier 500 + ALE 训练 200)

评测参考盘

约 550 Task(GDPval 100 + ALE 100 + Harvey 150 + Automation 50 + MCP 50 + BabyVision/ZeroBench 各 50)

多模 RD 参考盘

约 15,500(BabyVision 10,000 + ZeroBench 1,000 + GDP.pdf 2,000 + Design Arena 2,500)

安全能力盘

8 类安全数据集矩阵(规则检测 / ATT&CK / 技能与差距推理等),按 Security LLM SFT 与红队目标组合,规模项目确认

BENCHMARK MATRIX

训练 / 评测 / 多模:可定制明细

下列为后训练 Benchmark 需求规格。训练与评测主落在 AI Coding + Agent;多模与调研落在 DeepResearch;安全规格见专页,不在此表重复堆题。

1 · 训练数据(SFT / RL / 轨迹)

数据参考规模交付形态难度带(定制参考)详情
Toolathlon采购参考 5,000;过滤后难题约 1,000 + envTask + 环境 + Rollout + 工具/软件 key强模型 4 跑至少 1 次全对;中弱保留提升空间详情
AutomationBench训练约 3,000(评测另见 50)Task + env + Rollout;企业模拟 Server(CRUD)中弱约 0.2–0.8;SOTA 约 0.2–1.0详情
NL2Repo约 200Harbor 可直接跑SOTA 约 0.1–0.7;强模型均轮 ≥100详情
Frontier Bench约 500 + 订阅扩容Harbor;长程高难SOTA 约 0.1–0.7;强模型均轮 ≥200详情
Agents' Last Exam训练约 200(评测另见 100)Task + env + Rollout;Harbor;污染隔离中弱约 0.1–0.8;SOTA 约 0.2–1.0详情

2 · 评测数据(私有终评)

数据参考规模TaskShape / 环境要点难度标定(定制参考)详情
GDPval(AA)约 100题目书+≥3 附件+Rubrics+gold(oracle≥90%)+wrong(≤80%)+task_card;≥20% 复杂 workspace(≥80 文件);≥20% GUI-only;≤250 步;禁公网SOTA+harness ≥4 次:mean <60%、acc <50%;强弱区分度 ≥20%/15%详情
Agents' Last Exam评测约 100与训练分流;多阶段工作流;污染检测按项目强弱模型重标定详情
Harvey LAB主口径 150;可扩至约 200≥10 环境文件;实体交付物;Rubric 四要素;notes/script/Evidence;三人制盲评mean <80%、acc <60%;强弱区分度 ≥20%/10%详情
AutomationBench评测约 50单轮+多步;20+ 工具;企业模拟 ServerFrontier 4 次均值 ≤35%,单次 ≤50%详情
MCP-Atlas约 50真实 MCP;隐去工具名;跨 Server;20+ 工具步0.75 合格线口径:均值 ≤40%、单次 ≤50%详情
BabyVision / ZeroBench评测切片各约 50无工具;可机械判定;与 RD 全集分账无工具 4 次均值 ≤40%、单次 ≤50%;成人 ≥90%BabyVision · ZeroBench

3 · 多模数据(RD 放量)

数据参考规模形态与质检难度带(定制参考)详情
BabyVision约 10,000 RD22 子能力可对齐;≤25 字指令;≥3 步视觉链;准确率 ≥95%avg@8 ∈ [0.125, 0.875]详情
ZeroBench约 1,000 RD主+3–4 子任务;准确率 ≥95%@5 正确约 1–3详情
GDP.pdf约 2,000 RD四格式均匀;多模态证据;专业域@5 正确约 0–4详情
Design Arena主口径 2,500(首批约 1,000 起评)设计理解/生成;CoT recover ≥98%;准确率 ≥95%SOTA 约 0.2–0.5详情

后训练闭环:数据 → 训练 → 评测 → 迭代

1. 适配评估

从四大板块组合目标能力(编码 / Agent / 调研多模 / 安全),确认模型、harness、网络隔离与交付格式。

2. 样例门禁

小批量跑分标定 + TaskShape 抽检;未过门禁不放量。

3. 分批生产

训练放量与评测切片分流;安全与通用数据版本钉扎。

4. 重标定迭代

Frontier 订阅换题;终评集保持区分度;安全规则随 ATT&CK/威胁演进去版本。

ACCEPTANCE · SOW

验收协议与可签 SOW

页面数字是参考规格;合同以双方签字的验收清单与跑分报告为准。填表时写清目标能力与期望规模,顾问按 SOW 七段回方案。

SOW 段定制内容
01 目标定义后训练用途(SFT / RL / preference / 私有评测 / 安全对齐);选用哪几个板块组合
02 难度带强/弱模型、harness、≥4 次独立跑、mean/acc/passrate 区间、区分度下限
03 TaskShape附件、Rubric、gold/wrong、task_card、GUI 比例、步骤上限;安全侧另定标签与 ATT&CK 映射
04 环境资产Harbor / Docker / 模拟 SaaS / MCP / 安全实验环境;隔离与 key
05 质检门禁oracle/准确率、双审或盲评、污染检索、CoT recover、拒收与返工
06 分批交付样例 → 标定 → 放量;训练/评测/安全分账
07 订阅扩容Frontier 换题;安全威胁演进去版本;难度漂移重测
训练侧

强模型 4 次至少 1 次全对(按合同);Toolathlon/Automation 对中弱保留提升空间;NL2Repo/Frontier/ALE 须 Harbor 可直接使用。

评测侧

强模型「跑不满」+ 强弱拉开;专业任务包可审计(gold/wrong/rubric/evidence/盲评)。

多模 / 安全

多模:机械可判或专家复核 + 禁用工具协议。安全:攻防配对可核验 + 战术技术覆盖表进验收。

下一步

在下方 数据集目录 勾选意向包,再到本页表单提交目标能力与期望规模;也可直接填写需求。

CATALOG · PICK

数据集目录 · 勾选即写入询价

先看后训练主线,再看 AI Coding 相邻能力。点击卡片可勾选意向包,提交表单时自动带入。Agent / DeepResearch / AI+安全完整目录见四大板块专页。

后训练 Benchmark 主线

AI Coding 相邻能力

语料与榜单深潜:前沿进展 × 朗慧专业交付

以下按品类独立拆解。公共榜单与论文用于说明「为什么现在要做」与「算法侧在优化什么」;朗慧侧给出可定制的 TaskShape、环境与验收工程能力。公开分数会随污染与模型迭代快速失效,私有集与可复现环境才是后训练采购的核心资产。

综述后训练范式迁移:从刷分到可复现工程

2025–2026 年,编码与 Agent 后训练完成三次范式迁移:① 训练侧从「静态题」转向「可交互环境 + 轨迹」(SWE-Gym、SWE-rebench、Harbor 任务包);② 评测侧从易污染的公开 Verified 集转向 Pro / 私有 / 作者出题长程集(OpenAI 已公开说明 SWE-bench Verified 不再适合衡量前沿);③ 能力侧从单文件补丁扩展到仓库生成、工具十项全能、MCP 跨 Server 编排与经济价值知识工作(GDPval、ALE)。

算法主线

SFT / RFT(拒采微调)→ 轨迹 RL(GRPO 等)→ 过程监督与 verifier;多模侧 RLVR 开始被用于 BabyVision 类原子视觉补盲,但对 tracking 等难语言化能力增益有限。

评测主线

执行型评分(pytest / 状态断言)优先于纯 LLM-as-judge;claim-level rubric(MCP-Atlas、GDPval 类)兼顾替代轨迹;训练/评测必须分账防污染。

环境主线

Docker / VM / Harbor / 企业模拟 Server / 真实 MCP:环境工程成本已高于题面撰写,是区分「数据商」与「后训练工程伙伴」的关键。

朗慧立场

用四大板块组合能力目标,把公开前沿规格翻译成可签 SOW:难度带重标定、TaskShape 字段化、样例门禁后再放量。

参考: OpenAI on SWE-bench Verified · SWE-Gym (ICML 2025) · OpenAI GDPval · Agents' Last Exam

训练 · HarborNL2Repo / NL2Repo-Bench:自然语言到完整仓库

仓库级生成是编码 Agent 从「会补丁」走向「会立项」的关键门槛。NL2Repo-Bench 要求从空工作区 + 长规格文档出发,自主完成架构、依赖、多模块实现与可安装打包,并用上游 pytest 做执行型评分。

前沿算法语境

长程失败模式被反复验证:过早终止、全局一致性崩塌、跨文件依赖脆弱、数百步规划失稳。平均交互可达约 90 轮、上下文约 90k tokens,对上下文保持与工具循环预算提出硬约束。

学术论文与产业动态

NL2Repo-Bench (arXiv:2512.12730) 报告最强组合平均测试通过率仍低于约 40%,全库完全做对极为罕见;与 WebDev Arena(人类偏好全栈体感)形成「执行正确性 vs 体感偏好」双轨。

对后训练的意义

适合做 SFT/RL 的长轮次轨迹与 Harbor 可跑任务包;难度带常用 SOTA passrate 区间与强模型均轮下界(参考 ≥100)做验收锚点。

朗慧定制交付

约 200 Task 级可评估;Harbor 格式、多语言仓库脚手架/测试/CI、长轮次场景可定制;规模与难度带项目重标定。

参考:NL2RepoBench GitHub · WebDev Arena · 查看交付详情 →

训练 · 订阅Frontier Bench / FrontierSWE:超长程前沿工程

当 SWE-bench 类「仓库内修 issue」趋于饱和或污染后,Frontier 级任务转向超大范围、开放结局与部分给分:从零重实现、性能优化、研究型工程等,强调小时到天级上下文与里程碑管理。

前沿算法语境

后训练需要「订阅式供题」:静态小集合会被刷穿;持续换题 + 难度漂移重测,才是维持区分度的工程解法。

学术论文与产业动态

与 DeepSWE(原创未合并长程任务)、SWE-bench Pro(更长程企业风)同属 2025–2026 前沿评测族谱;OpenAI 已建议用 Pro 等替代 Verified 报分。

对后训练的意义

用于长程规划、里程碑 RL、上下文保持与人工接管策略研究;强模型均轮参考下界约 200。

朗慧定制交付

约 500 Task 级 + Harbor 可用性评估 + 订阅扩容/换题机制;验收写清重标定节奏与版本钉扎。

参考:DeepSWE · OpenAI Verified 声明 · 查看交付详情 →

编码 · 长程DeepSWE:原创长程工程难题

DeepSWE 聚焦「从未合并的原创仓库级请求」:避免 PR 挖掘带来的泄漏,任务形态贴近日常工程短请求,但跨越多文件与隐式依赖,适合衡量前沿编码 Agent 真实解决率。

前沿算法语境

与 SWE-Gym(可训练交互环境)、SWE-Dev(训练/推理 scaling)、SWE-rebench(去污染持续供题)共同构成「可训环境 + 新鲜评测」双栈。

学术论文与产业动态

公开文献指出 Verified 上 gold patch 可被复现,报分信号失真;原创/持有集与失败轨迹归因成为后训练刚需。

对后训练的意义

提供正确 patch、测试补丁与失败轨迹归因,可同时服务 SFT 与归因/ verifier 训练。

朗慧定制交付

真实仓库快照 + patch 集 + 归因 JSONL;难度对齐长程未饱和区间,按项目标定。

参考:DeepSWE paper · SWE-Gym · SWE-Dev (ACL 2025 Findings) · 查看交付详情 →

编码 · 马拉松Ultra Long-horizon / SWE-Marathon 标注

马拉松式任务覆盖大型重构、跨模块特性、依赖升级与框架迁移,持续时间从数小时到数天,强调里程碑、回滚点与关键决策记录。

前沿算法语境

前沿 Agent 产品(Claude Code、Codex 等)的瓶颈已从「单步正确」转向「长程不跑偏」;里程碑监督与中间态快照是有效训练信号。

学术论文与产业动态

与 FrontierSWE / DeepSWE 形成互补:前者更偏超大开放题,本类更贴近企业工程变更流。

对后训练的意义

用于长程 RL、过程奖励与接管策略;评估里程碑完成率、端到端解决率、有效上下文保持。

朗慧定制交付

任务包 + 里程碑快照 + 决策轨迹 JSONL;周期与难度带项目确认。

参考:DeepSWE / FrontierSWE 讨论 · 查看交付详情 →

偏好 · ArenaCoding Arena / WebDev Arena:全栈体感偏好

Arena 范式用人类匿名对战衡量「真实开发手感」:功能完整性、UI、交互流畅性,补齐纯执行型榜单看不到的产品体感维度。

前沿算法语境

偏好数据直接服务 DPO / RLHF / 成对排序;与 NL2Repo 的执行正确性形成正交信号。

学术论文与产业动态

LMArena / WebDev Arena 推动社区从静态题转向在线人类投票;工业界用其校准「能否交付可用应用」。

对后训练的意义

适合偏好对齐与产品向编码模型;一致性(annotator agreement)应写入质检。

朗慧定制交付

成对样本 JSONL + 应用产物包 + 多维度偏好明细;规模定制。

参考:WebDev Arena · 查看交付详情 →

AI4AIML-Agent / MLE-Bench 向后训练

「AI 做 AI」要求模型在竞赛式 ML 流水线中完成特征、选型、调参与提交,对齐 MLE-Bench 等工程评测口径。

前沿算法语境

AutoML Agent 与科研 Agent 共用同一类监督:可运行实验轨迹、奖牌线与相对 baseline 增益。

学术论文与产业动态

OpenAI 等将 MLE-Bench 视为从考试题走向经济价值任务链的一环(与 SWE、Paper-Bench、GDPval 递进)。

对后训练的意义

服务 SFT/RL 与 ML 工程 Agent;评估奖牌达成、超 baseline 幅度、端到端成功率。

朗慧定制交付

竞赛任务包 + 数据集快照 + 轨迹/代码 diff + 奖牌线标注;2–4 周级品类可评估。

参考:OpenAI 评测演进叙述(含 MLE-Bench) · 查看交付详情 →

竞赛 · 推理ProgramBench:竞赛级高难约束

算法/并发/系统方向的多重约束题,用于拉开高能力模型的推理天花板,配套多解法、复杂度与对抗边界用例。

前沿算法语境

在 Agent 时代仍不可缺:许多仓库级失败可回溯为局部推理与边界处理缺陷;高难单题是廉价的诊断探针。

学术论文与产业动态

与 LiveCodeBench、竞赛数据集传统一脉,但工业定制更强调对抗用例与可机判。

对后训练的意义

用于推理拔高、pass@k 诊断与蒸馏题库。

朗慧定制交付

题面 + 多解代码 + 测试包 + 复杂度分析;难度分级项目确认。

参考:竞赛编程与对抗评测实践(项目内对齐) · 查看交付详情 →

训练 · 工具Toolathlon:真实工具十项全能

HKUST 等提出的 Toolathlon(ICLR 2026 方向)用 600+ 真实软件工具与长程任务衡量通用 tool-use;Verified 版本强调题面、真值与评估器对齐,并提供多模型轨迹。

前沿算法语境

后训练关键不是「会调用一个 API」,而是选型、串联、容错、回退与 key/账号约束下的可复现执行。

学术论文与产业动态

与 MCP-Atlas 互补:Toolathlon 偏多样真实软件环境;MCP-Atlas 偏 MCP 标准接口与跨 Server 发现。

对后训练的意义

完整 Task+env+Rollout+key;采购参考约 5,000,过滤后难题约 1,000;4-run 验收与中弱提升空间。

朗慧定制交付

全量包 + 难题子集清单 + 环境 + Rollout + key 依赖;规模项目确认。

参考:Toolathlon GitHub · 查看交付详情 →

训练/评测 · 流程AutomationBench:企业流程自动化

企业级自动化要求 Agent 在多 SaaS/业务系统上完成检索、工具发现与状态变更(CRUD),而非单次函数调用。

前沿算法语境

评测切片常用 Frontier 强模型 4 次均值通过率上限(如 ≤35%)锁难度,同时避免「全体零分」失去区分度。

学术论文与产业动态

与 RPA+Agent 融合、数字员工 POC 同一战场;行业优先分析、财务、产品与项目管理等知识工作流。

对后训练的意义

训练约 3,000 / 评测约 50 分账;企业模拟 Server;强模型工具步数参考 20+。

朗慧定制交付

模拟 Server + 训练包 + 评测切片 + 断言脚本;部署与权限说明进 SOW。

参考:企业模拟环境与多步工具编排验收实践(对齐需求规格) · 查看交付详情 →

训练/评测 · ALEAgents' Last Exam:职业工作流终考

Berkeley RDI 等推动的 ALE 覆盖约 55 个专业子行业,强调长程、可验证、经济价值工作流,并同时考察 CLI+GUI(CUA)能力;公开框架含沙箱、评分与参考任务。

前沿算法语境

训练/评测必须分流:公开子集易被针对性优化,私有终评切片 + 污染检测才是选型可信度来源。

学术论文与产业动态

与 GDPval 共同定义「经济价值工作」评测轴,但 ALE 更强调计算机使用环境与多阶段流程。

对后训练的意义

Harbor 训练约 200 + 评测约 100;Task+env+Rollout;版本钉扎与污染报告。

朗慧定制交付

Harbor 包 + 评分标准 + 污染检测;难度带项目重标定。

参考:agents-last-exam.org · ALE GitHub · 查看交付详情 →

评测 · 经济价值GDPval(AA):真实职业交付物

OpenAI GDPval 覆盖 44 职业、美国 GDP 主要行业活动,用专家盲评比较模型交付物与人类专家产出,并开源 gold 子集与自动评分服务方向。

前沿算法语境

后训练私有集要把「可审计」做满:附件 workspace、Rubric、gold(oracle)、wrong、task_card、GUI 比例与禁公网约束,否则无法复现专家评分。

学术论文与产业动态

产业动态:经济价值评测正在替代纯考试题,成为模型发布与采购的第二曲线。

对后训练的意义

约 100 Task;SOTA+harness ≥4 次 mean/acc 上限与强弱区分度写入合同;≥20% 复杂 workspace / GUI-only 等 TaskShape 可对齐。

朗慧定制交付

任务包 + 附件 + Rubric/gold/wrong + task_card + 可选模拟站。

参考:OpenAI GDPval · GDPval PDF · 查看交付详情 →

评测 · 专业包Harvey LAB:可审计专业任务包

专业领域(法律/金融等)终评要求实体交付物、逐附件环境说明、解题证据链与三人制盲评——防止「出题人自证」。

前沿算法语境

与 GDPval 同属高价值知识工作,但更强调 Rubric 字段级可检查性与独立复核记录。

学术论文与产业动态

工业采购中,这类任务包溢价来自专家网络与质检流程,而非题量。

对后训练的意义

主口径约 150,可按一级分类同分布扩至约 200;≥10 环境文件;标准 harness。

朗慧定制交付

完整 Task 包 + notes/script/Evidence + 盲评记录;难度带 mean/acc 上限项目标定。

参考:专业任务包与盲评验收规格(对齐后训练需求说明书) · 查看交付详情 →

评测 · MCPMCP-Atlas:真实 MCP Server 工具编排

Scale 等提出的 MCP-Atlas(arXiv:2602.00933)在 36 个真实 MCP Server、220 工具上构建 1,000 专家任务;prompt 不点名工具,要求跨 Server 编排,并用 claim-level 覆盖率(如 0.75)判定通过。

前沿算法语境

诊断显示大量失败是「认知/综合/过早停止」而非单纯调工具失败——对后训练意味着需要轨迹级过程监督,而不仅是 API schema 微调。

学术论文与产业动态

Anthropic MCP 成为产业标准接口后,MCP-Atlas 与公开 leaderboard 正在成为工具 Agent 的参照系。

对后训练的意义

约 50 Task 级定制切片;容器化真实 MCP;隐式发现;工具步数参考 20+;CRUD 状态变更。

朗慧定制交付

MCP 镜像/compose + 任务包 + 断言/claim 评分说明。

参考:MCP-Atlas paper · Scale Leaderboard · 查看交付详情 →

多模 · RDBabyVision:原子视觉能力

BabyVision(UniPat 等)揭示前沿 MLLM 在幼儿级视觉任务上的巨大落差:约 388 题、4 大类 22 子类;成人可达约 94%,而多数模型仍显著落后。RLVR/GRPO 小规模试验显示整体可提升,但对 visual tracking 等难语言化能力增益有限。

前沿算法语境

说明多模后训练不能只堆「看图说话」VQA,必须按原子能力铺题、机械可判、禁用工具,防止 OCR/语言先验绕过。

学术论文与产业动态

与 ZeroBench「当时不可能」定位互补:BabyVision 强调能力维度覆盖与人类对照。

对后训练的意义

约 10,000 RD + 评测切片约 50 分账;avg@8 难度带与准确率门禁项目标定。

朗慧定制交付

样本集 + 答案键 + 域/子能力标签;无工具协议写进验收。

参考:BabyVision paper · GitHub · 查看交付详情 →

多模 · 高难ZeroBench:主任务 + 子任务拆解

ZeroBench 以极高难度视觉推理著称(发布时多模型 0 分),小而精的主任务 + 子问题结构,适合测试时 scaling 与级联失败诊断。

前沿算法语境

子任务拆解为过程监督与错误定位提供钩子,是多模 RL/诊断集的重要形态。

学术论文与产业动态

与 BabyVision 组合:一个铺原子能力,一个锁极端难度头。

对后训练的意义

约 1,000 RD + 评测切片约 50;@k 正确次数带项目标定。

朗慧定制交付

题集 + 主/子答案键;评测切片单独版本钉扎。

参考:ZeroBench paper · zerobench.github.io · 查看交付详情 →

多模 · 文档GDP.pdf:专业文档多模态理解

知识工作大量发生在 PDF/表格/幻灯片中;证据常在 layout、图表而非纯文本。GDP.pdf 类数据把 GDPval 的经济价值思想延伸到文档多模态证据链。

前沿算法语境

后训练需均匀覆盖四类格式,并以证据定位(页/表/图)作为可审计标注,而非只有最终答案。

学术论文与产业动态

金融、法律、工程、高等教育等专业域决定专家审核成本与溢价。

对后训练的意义

约 2,000 RD;答案准确率与标定模型 @k 带项目确认。

朗慧定制交付

文档包 + gold + 证据定位 + 专业复核记录。

参考:GDPval 经济价值任务观 · 查看交付详情 →

多模 · 过程Design Arena:设计理解与 CoT recover

设计生成兼具主观审美与可执行约束;可恢复 CoT(过程轨迹可用率)决定能否做过程监督与偏好对齐,而不只是看最终图。

前沿算法语境

与 Coding Arena 类似,人类偏好与可机检约束需要同时进数据集。

学术论文与产业动态

主口径约 2,500 RD,可分批(首批约 1,000 起评);CoT recover 参考 ≥98%、答案准确率参考 ≥95%。

对后训练的意义

支撑设计 Agent、过程奖励与多模 DPO。

朗慧定制交付

任务包 + 产出物 + CoT 轨迹 + 可选偏好对。

参考:设计偏好与过程监督数据工程实践(项目定制) · 查看交付详情 →

安全AI+安全:Security LLM 与攻防对齐

通用后训练之外,安全侧双轨并行:检测五元组与 ATT&CK 技能服务 Security LLM;漏洞利用 Agent 环境对齐 ExploitGym / ExploitBench(隔离镜像、flag+on-target、防泄漏与难度标定)。细节与可签验收见安全专页。

前沿语境

生成式攻击规模化、ATT&CK 狩猎框架普及、专用安全大模型崛起,使「通用模型 + 安全数据后训练」成为刚需。

与总入口关系

在四大板块中与编码/Agent/调研正交:可单独采购,也可与工具/终端环境组合做安全 Agent。

验收要点

攻防配对可核验、战术技术覆盖表、标签一致性与版本去污。

专页:ai-security.html · 总入口映射见 四大板块

后训练建设价值

可训信号完整

Task + 环境 + Rollout / 轨迹 / 偏好对 / CoT,覆盖 SFT、RL 与过程监督,而非只有题面。

训练与评测分账

放量训练集与高区分度私有终评分流交付,污染隔离与版本钉扎可写进合同。

环境可复现

Harbor / Docker / 企业模拟 Server / MCP / 安全实验环境按任务配置,避免口径争议。

四大板块可组合

编码、Agent、调研多模、安全对齐按目标能力拼装,而不是买一堆互不相干的目录名。

典型应用场景

通用 / 编码模型后训练

仓库级生成、长程 SWE、工具调用与偏好对齐,补齐真实工程能力。

Agent 产品终评

私有 GDPval / Harvey / MCP / Automation 切片做选型与防污染评测。

多模与专家推理

BabyVision / ZeroBench / GDP.pdf / Design Arena 与 DeepResearch、硕博数学组合补盲。

Security LLM 与安全对齐

检测规则、ATT&CK 技能与红队数据进入专用安全模型 SFT / 对齐流程。

交付形式与规格参数

交付格式

Harbor / JSON·JSONL 任务包 + 环境镜像或 compose + Rollout/校验脚本 + 评分与质检记录;安全侧另附标签与 ATT&CK 映射表。

核心字段(按品类)

通用:task_id、instruction、env、rollout、rubric、gold/wrong、difficulty。专业包另含 task_card、environment_notes、Evidence、盲评记录。

质检门禁

样例批次跑分标定 + TaskShape 抽检 + 双审/盲评(按品类);一致性与可复现指标以合同清单为准,不以营销百分比替代。

交付节奏

样例门禁 → 标定批次 → 放量;Frontier / 安全支持订阅或去版本扩容。周期按品类与环境工程量评估。

示例说明

DeepSWE 任务样本结构(节选)
{
  "task_id": "deepswe-00417",
  "repo": "acme-org/serving-core",
  "issue": "多文件联动:连接池泄漏导致长跑 OOM",
  "gold_patch": "diff --git a/pool.py ...",
  "test_patch": "tests/test_pool_leak.py",
  "trajectory": [
    {"step": 1, "action": "grep -R \"Pool(\" src/", "finding": "3 处未释放"},
    {"step": 2, "action": "edit src/pool.py:88", "diff": "..."},
    {"step": 3, "action": "pytest -q", "result": "28 passed"}
  ],
  "difficulty": "hard",
  "metrics": {"resolved": true, "regression": 0, "patch_lines": 42}
}
Coding Arena 偏好样本(节选)
{
  "prompt": "做一个支持多人协作的看板应用,含拖拽与实时同步",
  "candidate_a": {"stack": "React + WebSocket", "artifact": "..."},
  "candidate_b": {"stack": "Vue + SSE", "artifact": "..."},
  "preference": "a",
  "dimensions": {
    "功能完整性": {"a": 5, "b": 4},
    "UI 美观度": {"a": 4, "b": 5},
    "交互流畅性": {"a": 5, "b": 3}
  },
  "annotator_agreement": 0.81
}

准备好对一次后训练采购定价了吗?

朗慧按四大能力线组合目标,提供训练/评测/多模分账、样例预览与可签验收清单。先勾选数据集,或直接提交选型需求。

提交选型询价 先选数据集 完整联系页