POST-TRAIN · CAPABILITY MAP
四条能力线,怎么拼成一次后训练采购
面向采购与算法共同决策:先按能力目标组合板块,再进入训练 / 评测 / 多模明细与可签 SOW。页面数字是定制参考规格,以项目模型、harness 与合同清单重标定为准。
四大板块 × 后训练用途映射
| 板块 |
后训练主用途 |
典型交付 |
算法侧关心什么 |
入口 |
| AI Coding |
SFT/RL 编码能力;仓库级与长程工程;偏好对齐 |
仓库快照 · Harbor Task · 轨迹/diff · Arena 成对偏好 |
pass@k、Resolved、轮次、Harbor 可跑、难度未饱和 |
矩阵 · 本页 |
| Agent 环境 |
工具调用 / 流程自动化后训练;私有终评;MCP 编排 |
Task+env+Rollout · 模拟 Server · MCP · Rubric/gold/wrong |
4-run 标定、强弱区分度、20+ 工具步、状态断言、污染隔离 |
专页 |
| DeepResearch / 多模 |
长链推理与调研;过程监督;视觉/文档 RD 放量 |
证据链 · 报告五要素 · 数学证明 · 多模答案键 · CoT recover |
答案唯一性、证据可核验、无工具协议、domain 均匀、avg@k 难度带 |
专页 · 多模 |
| AI+安全 |
Security LLM SFT;红队/对抗;检测与狩猎技能对齐 |
攻击/检测规则对 · ATT&CK TTP · 技能训练轨迹 · 五元组关联结构 |
战术/技术覆盖、可执行标签、攻防配对、安全拒绝与有用性平衡 |
专页 |
BUYER MAP
同一套资产,四种决策问题
顶级运营 / 商务
先定「训练盘 / 评测盘 / 多模 RD / 安全」分账,再谈单价与周期。用 SOW 七段锁验收,避免把评测 50 题和训练 3,000 混成一个数。入口:验收 SOW → 缺口评估。
AI 数据专家
盯 TaskShape:附件数、Rubric 字段、gold/wrong、environment_notes、Evidence、盲评角色分离、污染检索、Harbor/Server/MCP 可复现。GDPval / Harvey 是专业任务包样板;安全侧看五元组与 ATT&CK 覆盖。
算法工程师
盯可训信号:Rollout 轨迹、失败归因、偏好对、CoT recover、工具调用金标准。盯未饱和难度:4-run passrate 带、强弱区分度、长轮次下界(NL2Repo≥100 / Frontier≥200)。环境必须能在约定 harness 下复现。
后训练模型客户
买的是闭环:样例门禁 → 标定 → 放量 → 私有终评 →(可选)订阅换题。要求训练/评测分流、版本钉扎、拒收条款写进合同。安全模型客户另加红队与检测配对验收。
训练参考盘约 8,900 Task(Toolathlon 5,000 + Automation 3,000 + NL2Repo 200 + Frontier 500 + ALE 训练 200)
评测参考盘约 550 Task(GDPval 100 + ALE 100 + Harvey 150 + Automation 50 + MCP 50 + BabyVision/ZeroBench 各 50)
多模 RD 参考盘约 15,500(BabyVision 10,000 + ZeroBench 1,000 + GDP.pdf 2,000 + Design Arena 2,500)
安全能力盘8 类安全数据集矩阵(规则检测 / ATT&CK / 技能与差距推理等),按 Security LLM SFT 与红队目标组合,规模项目确认
BENCHMARK MATRIX
训练 / 评测 / 多模:可定制明细
下列为后训练 Benchmark 需求规格。训练与评测主落在 AI Coding + Agent;多模与调研落在 DeepResearch;安全规格见专页,不在此表重复堆题。
1 · 训练数据(SFT / RL / 轨迹)
| 数据 | 参考规模 | 交付形态 | 难度带(定制参考) | 详情 |
| Toolathlon | 采购参考 5,000;过滤后难题约 1,000 + env | Task + 环境 + Rollout + 工具/软件 key | 强模型 4 跑至少 1 次全对;中弱保留提升空间 | 详情 |
| AutomationBench | 训练约 3,000(评测另见 50) | Task + env + Rollout;企业模拟 Server(CRUD) | 中弱约 0.2–0.8;SOTA 约 0.2–1.0 | 详情 |
| NL2Repo | 约 200 | Harbor 可直接跑 | SOTA 约 0.1–0.7;强模型均轮 ≥100 | 详情 |
| Frontier Bench | 约 500 + 订阅扩容 | Harbor;长程高难 | SOTA 约 0.1–0.7;强模型均轮 ≥200 | 详情 |
| Agents' Last Exam | 训练约 200(评测另见 100) | Task + env + Rollout;Harbor;污染隔离 | 中弱约 0.1–0.8;SOTA 约 0.2–1.0 | 详情 |
2 · 评测数据(私有终评)
| 数据 | 参考规模 | TaskShape / 环境要点 | 难度标定(定制参考) | 详情 |
| GDPval(AA) | 约 100 | 题目书+≥3 附件+Rubrics+gold(oracle≥90%)+wrong(≤80%)+task_card;≥20% 复杂 workspace(≥80 文件);≥20% GUI-only;≤250 步;禁公网 | SOTA+harness ≥4 次:mean <60%、acc <50%;强弱区分度 ≥20%/15% | 详情 |
| Agents' Last Exam | 评测约 100 | 与训练分流;多阶段工作流;污染检测 | 按项目强弱模型重标定 | 详情 |
| Harvey LAB | 主口径 150;可扩至约 200 | ≥10 环境文件;实体交付物;Rubric 四要素;notes/script/Evidence;三人制盲评 | mean <80%、acc <60%;强弱区分度 ≥20%/10% | 详情 |
| AutomationBench | 评测约 50 | 单轮+多步;20+ 工具;企业模拟 Server | Frontier 4 次均值 ≤35%,单次 ≤50% | 详情 |
| MCP-Atlas | 约 50 | 真实 MCP;隐去工具名;跨 Server;20+ 工具步 | 0.75 合格线口径:均值 ≤40%、单次 ≤50% | 详情 |
| BabyVision / ZeroBench | 评测切片各约 50 | 无工具;可机械判定;与 RD 全集分账 | 无工具 4 次均值 ≤40%、单次 ≤50%;成人 ≥90% | BabyVision · ZeroBench |
3 · 多模数据(RD 放量)
| 数据 | 参考规模 | 形态与质检 | 难度带(定制参考) | 详情 |
| BabyVision | 约 10,000 RD | 22 子能力可对齐;≤25 字指令;≥3 步视觉链;准确率 ≥95% | avg@8 ∈ [0.125, 0.875] | 详情 |
| ZeroBench | 约 1,000 RD | 主+3–4 子任务;准确率 ≥95% | @5 正确约 1–3 | 详情 |
| GDP.pdf | 约 2,000 RD | 四格式均匀;多模态证据;专业域 | @5 正确约 0–4 | 详情 |
| Design Arena | 主口径 2,500(首批约 1,000 起评) | 设计理解/生成;CoT recover ≥98%;准确率 ≥95% | SOTA 约 0.2–0.5 | 详情 |
ACCEPTANCE · SOW
验收协议与可签 SOW
页面数字是参考规格;合同以双方签字的验收清单与跑分报告为准。填表时写清目标能力与期望规模,顾问按 SOW 七段回方案。
| SOW 段 | 定制内容 |
| 01 目标定义 | 后训练用途(SFT / RL / preference / 私有评测 / 安全对齐);选用哪几个板块组合 |
| 02 难度带 | 强/弱模型、harness、≥4 次独立跑、mean/acc/passrate 区间、区分度下限 |
| 03 TaskShape | 附件、Rubric、gold/wrong、task_card、GUI 比例、步骤上限;安全侧另定标签与 ATT&CK 映射 |
| 04 环境资产 | Harbor / Docker / 模拟 SaaS / MCP / 安全实验环境;隔离与 key |
| 05 质检门禁 | oracle/准确率、双审或盲评、污染检索、CoT recover、拒收与返工 |
| 06 分批交付 | 样例 → 标定 → 放量;训练/评测/安全分账 |
| 07 订阅扩容 | Frontier 换题;安全威胁演进去版本;难度漂移重测 |
训练侧强模型 4 次至少 1 次全对(按合同);Toolathlon/Automation 对中弱保留提升空间;NL2Repo/Frontier/ALE 须 Harbor 可直接使用。
评测侧强模型「跑不满」+ 强弱拉开;专业任务包可审计(gold/wrong/rubric/evidence/盲评)。
多模 / 安全多模:机械可判或专家复核 + 禁用工具协议。安全:攻防配对可核验 + 战术技术覆盖表进验收。
下一步在下方 数据集目录 勾选意向包,再到本页表单提交目标能力与期望规模;也可直接填写需求。
语料与榜单深潜:前沿进展 × 朗慧专业交付
以下按品类独立拆解。公共榜单与论文用于说明「为什么现在要做」与「算法侧在优化什么」;朗慧侧给出可定制的 TaskShape、环境与验收工程能力。公开分数会随污染与模型迭代快速失效,私有集与可复现环境才是后训练采购的核心资产。
综述后训练范式迁移:从刷分到可复现工程
2025–2026 年,编码与 Agent 后训练完成三次范式迁移:① 训练侧从「静态题」转向「可交互环境 + 轨迹」(SWE-Gym、SWE-rebench、Harbor 任务包);② 评测侧从易污染的公开 Verified 集转向 Pro / 私有 / 作者出题长程集(OpenAI 已公开说明 SWE-bench Verified 不再适合衡量前沿);③ 能力侧从单文件补丁扩展到仓库生成、工具十项全能、MCP 跨 Server 编排与经济价值知识工作(GDPval、ALE)。
算法主线SFT / RFT(拒采微调)→ 轨迹 RL(GRPO 等)→ 过程监督与 verifier;多模侧 RLVR 开始被用于 BabyVision 类原子视觉补盲,但对 tracking 等难语言化能力增益有限。
评测主线执行型评分(pytest / 状态断言)优先于纯 LLM-as-judge;claim-level rubric(MCP-Atlas、GDPval 类)兼顾替代轨迹;训练/评测必须分账防污染。
环境主线Docker / VM / Harbor / 企业模拟 Server / 真实 MCP:环境工程成本已高于题面撰写,是区分「数据商」与「后训练工程伙伴」的关键。
朗慧立场用四大板块组合能力目标,把公开前沿规格翻译成可签 SOW:难度带重标定、TaskShape 字段化、样例门禁后再放量。
参考:
OpenAI on SWE-bench Verified ·
SWE-Gym (ICML 2025) ·
OpenAI GDPval ·
Agents' Last Exam
训练 · HarborNL2Repo / NL2Repo-Bench:自然语言到完整仓库
仓库级生成是编码 Agent 从「会补丁」走向「会立项」的关键门槛。NL2Repo-Bench 要求从空工作区 + 长规格文档出发,自主完成架构、依赖、多模块实现与可安装打包,并用上游 pytest 做执行型评分。
前沿算法语境长程失败模式被反复验证:过早终止、全局一致性崩塌、跨文件依赖脆弱、数百步规划失稳。平均交互可达约 90 轮、上下文约 90k tokens,对上下文保持与工具循环预算提出硬约束。
对后训练的意义适合做 SFT/RL 的长轮次轨迹与 Harbor 可跑任务包;难度带常用 SOTA passrate 区间与强模型均轮下界(参考 ≥100)做验收锚点。
朗慧定制交付约 200 Task 级可评估;Harbor 格式、多语言仓库脚手架/测试/CI、长轮次场景可定制;规模与难度带项目重标定。
参考:NL2RepoBench GitHub · WebDev Arena · 查看交付详情 →
训练 · 订阅Frontier Bench / FrontierSWE:超长程前沿工程
当 SWE-bench 类「仓库内修 issue」趋于饱和或污染后,Frontier 级任务转向超大范围、开放结局与部分给分:从零重实现、性能优化、研究型工程等,强调小时到天级上下文与里程碑管理。
前沿算法语境后训练需要「订阅式供题」:静态小集合会被刷穿;持续换题 + 难度漂移重测,才是维持区分度的工程解法。
学术论文与产业动态与 DeepSWE(原创未合并长程任务)、SWE-bench Pro(更长程企业风)同属 2025–2026 前沿评测族谱;OpenAI 已建议用 Pro 等替代 Verified 报分。
对后训练的意义用于长程规划、里程碑 RL、上下文保持与人工接管策略研究;强模型均轮参考下界约 200。
朗慧定制交付约 500 Task 级 + Harbor 可用性评估 + 订阅扩容/换题机制;验收写清重标定节奏与版本钉扎。
参考:DeepSWE · OpenAI Verified 声明 · 查看交付详情 →
编码 · 长程DeepSWE:原创长程工程难题
DeepSWE 聚焦「从未合并的原创仓库级请求」:避免 PR 挖掘带来的泄漏,任务形态贴近日常工程短请求,但跨越多文件与隐式依赖,适合衡量前沿编码 Agent 真实解决率。
前沿算法语境与 SWE-Gym(可训练交互环境)、SWE-Dev(训练/推理 scaling)、SWE-rebench(去污染持续供题)共同构成「可训环境 + 新鲜评测」双栈。
学术论文与产业动态公开文献指出 Verified 上 gold patch 可被复现,报分信号失真;原创/持有集与失败轨迹归因成为后训练刚需。
对后训练的意义提供正确 patch、测试补丁与失败轨迹归因,可同时服务 SFT 与归因/ verifier 训练。
朗慧定制交付真实仓库快照 + patch 集 + 归因 JSONL;难度对齐长程未饱和区间,按项目标定。
参考:DeepSWE paper · SWE-Gym · SWE-Dev (ACL 2025 Findings) · 查看交付详情 →
编码 · 马拉松Ultra Long-horizon / SWE-Marathon 标注
马拉松式任务覆盖大型重构、跨模块特性、依赖升级与框架迁移,持续时间从数小时到数天,强调里程碑、回滚点与关键决策记录。
前沿算法语境前沿 Agent 产品(Claude Code、Codex 等)的瓶颈已从「单步正确」转向「长程不跑偏」;里程碑监督与中间态快照是有效训练信号。
学术论文与产业动态与 FrontierSWE / DeepSWE 形成互补:前者更偏超大开放题,本类更贴近企业工程变更流。
对后训练的意义用于长程 RL、过程奖励与接管策略;评估里程碑完成率、端到端解决率、有效上下文保持。
朗慧定制交付任务包 + 里程碑快照 + 决策轨迹 JSONL;周期与难度带项目确认。
参考:DeepSWE / FrontierSWE 讨论 · 查看交付详情 →
偏好 · ArenaCoding Arena / WebDev Arena:全栈体感偏好
Arena 范式用人类匿名对战衡量「真实开发手感」:功能完整性、UI、交互流畅性,补齐纯执行型榜单看不到的产品体感维度。
前沿算法语境偏好数据直接服务 DPO / RLHF / 成对排序;与 NL2Repo 的执行正确性形成正交信号。
学术论文与产业动态LMArena / WebDev Arena 推动社区从静态题转向在线人类投票;工业界用其校准「能否交付可用应用」。
对后训练的意义适合偏好对齐与产品向编码模型;一致性(annotator agreement)应写入质检。
朗慧定制交付成对样本 JSONL + 应用产物包 + 多维度偏好明细;规模定制。
参考:WebDev Arena · 查看交付详情 →
AI4AIML-Agent / MLE-Bench 向后训练
「AI 做 AI」要求模型在竞赛式 ML 流水线中完成特征、选型、调参与提交,对齐 MLE-Bench 等工程评测口径。
前沿算法语境AutoML Agent 与科研 Agent 共用同一类监督:可运行实验轨迹、奖牌线与相对 baseline 增益。
学术论文与产业动态OpenAI 等将 MLE-Bench 视为从考试题走向经济价值任务链的一环(与 SWE、Paper-Bench、GDPval 递进)。
对后训练的意义服务 SFT/RL 与 ML 工程 Agent;评估奖牌达成、超 baseline 幅度、端到端成功率。
朗慧定制交付竞赛任务包 + 数据集快照 + 轨迹/代码 diff + 奖牌线标注;2–4 周级品类可评估。
参考:OpenAI 评测演进叙述(含 MLE-Bench) · 查看交付详情 →
竞赛 · 推理ProgramBench:竞赛级高难约束
算法/并发/系统方向的多重约束题,用于拉开高能力模型的推理天花板,配套多解法、复杂度与对抗边界用例。
前沿算法语境在 Agent 时代仍不可缺:许多仓库级失败可回溯为局部推理与边界处理缺陷;高难单题是廉价的诊断探针。
学术论文与产业动态与 LiveCodeBench、竞赛数据集传统一脉,但工业定制更强调对抗用例与可机判。
对后训练的意义用于推理拔高、pass@k 诊断与蒸馏题库。
朗慧定制交付题面 + 多解代码 + 测试包 + 复杂度分析;难度分级项目确认。
参考:竞赛编程与对抗评测实践(项目内对齐) · 查看交付详情 →
训练 · 工具Toolathlon:真实工具十项全能
HKUST 等提出的 Toolathlon(ICLR 2026 方向)用 600+ 真实软件工具与长程任务衡量通用 tool-use;Verified 版本强调题面、真值与评估器对齐,并提供多模型轨迹。
前沿算法语境后训练关键不是「会调用一个 API」,而是选型、串联、容错、回退与 key/账号约束下的可复现执行。
学术论文与产业动态与 MCP-Atlas 互补:Toolathlon 偏多样真实软件环境;MCP-Atlas 偏 MCP 标准接口与跨 Server 发现。
对后训练的意义完整 Task+env+Rollout+key;采购参考约 5,000,过滤后难题约 1,000;4-run 验收与中弱提升空间。
朗慧定制交付全量包 + 难题子集清单 + 环境 + Rollout + key 依赖;规模项目确认。
参考:Toolathlon GitHub · 查看交付详情 →
训练/评测 · 流程AutomationBench:企业流程自动化
企业级自动化要求 Agent 在多 SaaS/业务系统上完成检索、工具发现与状态变更(CRUD),而非单次函数调用。
前沿算法语境评测切片常用 Frontier 强模型 4 次均值通过率上限(如 ≤35%)锁难度,同时避免「全体零分」失去区分度。
学术论文与产业动态与 RPA+Agent 融合、数字员工 POC 同一战场;行业优先分析、财务、产品与项目管理等知识工作流。
对后训练的意义训练约 3,000 / 评测约 50 分账;企业模拟 Server;强模型工具步数参考 20+。
朗慧定制交付模拟 Server + 训练包 + 评测切片 + 断言脚本;部署与权限说明进 SOW。
参考:企业模拟环境与多步工具编排验收实践(对齐需求规格) · 查看交付详情 →
训练/评测 · ALEAgents' Last Exam:职业工作流终考
Berkeley RDI 等推动的 ALE 覆盖约 55 个专业子行业,强调长程、可验证、经济价值工作流,并同时考察 CLI+GUI(CUA)能力;公开框架含沙箱、评分与参考任务。
前沿算法语境训练/评测必须分流:公开子集易被针对性优化,私有终评切片 + 污染检测才是选型可信度来源。
学术论文与产业动态与 GDPval 共同定义「经济价值工作」评测轴,但 ALE 更强调计算机使用环境与多阶段流程。
对后训练的意义Harbor 训练约 200 + 评测约 100;Task+env+Rollout;版本钉扎与污染报告。
朗慧定制交付Harbor 包 + 评分标准 + 污染检测;难度带项目重标定。
参考:agents-last-exam.org · ALE GitHub · 查看交付详情 →
评测 · 经济价值GDPval(AA):真实职业交付物
OpenAI GDPval 覆盖 44 职业、美国 GDP 主要行业活动,用专家盲评比较模型交付物与人类专家产出,并开源 gold 子集与自动评分服务方向。
前沿算法语境后训练私有集要把「可审计」做满:附件 workspace、Rubric、gold(oracle)、wrong、task_card、GUI 比例与禁公网约束,否则无法复现专家评分。
学术论文与产业动态产业动态:经济价值评测正在替代纯考试题,成为模型发布与采购的第二曲线。
对后训练的意义约 100 Task;SOTA+harness ≥4 次 mean/acc 上限与强弱区分度写入合同;≥20% 复杂 workspace / GUI-only 等 TaskShape 可对齐。
朗慧定制交付任务包 + 附件 + Rubric/gold/wrong + task_card + 可选模拟站。
参考:OpenAI GDPval · GDPval PDF · 查看交付详情 →
评测 · 专业包Harvey LAB:可审计专业任务包
专业领域(法律/金融等)终评要求实体交付物、逐附件环境说明、解题证据链与三人制盲评——防止「出题人自证」。
前沿算法语境与 GDPval 同属高价值知识工作,但更强调 Rubric 字段级可检查性与独立复核记录。
学术论文与产业动态工业采购中,这类任务包溢价来自专家网络与质检流程,而非题量。
对后训练的意义主口径约 150,可按一级分类同分布扩至约 200;≥10 环境文件;标准 harness。
朗慧定制交付完整 Task 包 + notes/script/Evidence + 盲评记录;难度带 mean/acc 上限项目标定。
参考:专业任务包与盲评验收规格(对齐后训练需求说明书) · 查看交付详情 →
评测 · MCPMCP-Atlas:真实 MCP Server 工具编排
Scale 等提出的 MCP-Atlas(arXiv:2602.00933)在 36 个真实 MCP Server、220 工具上构建 1,000 专家任务;prompt 不点名工具,要求跨 Server 编排,并用 claim-level 覆盖率(如 0.75)判定通过。
前沿算法语境诊断显示大量失败是「认知/综合/过早停止」而非单纯调工具失败——对后训练意味着需要轨迹级过程监督,而不仅是 API schema 微调。
学术论文与产业动态Anthropic MCP 成为产业标准接口后,MCP-Atlas 与公开 leaderboard 正在成为工具 Agent 的参照系。
对后训练的意义约 50 Task 级定制切片;容器化真实 MCP;隐式发现;工具步数参考 20+;CRUD 状态变更。
朗慧定制交付MCP 镜像/compose + 任务包 + 断言/claim 评分说明。
参考:MCP-Atlas paper · Scale Leaderboard · 查看交付详情 →
多模 · RDBabyVision:原子视觉能力
BabyVision(UniPat 等)揭示前沿 MLLM 在幼儿级视觉任务上的巨大落差:约 388 题、4 大类 22 子类;成人可达约 94%,而多数模型仍显著落后。RLVR/GRPO 小规模试验显示整体可提升,但对 visual tracking 等难语言化能力增益有限。
前沿算法语境说明多模后训练不能只堆「看图说话」VQA,必须按原子能力铺题、机械可判、禁用工具,防止 OCR/语言先验绕过。
学术论文与产业动态与 ZeroBench「当时不可能」定位互补:BabyVision 强调能力维度覆盖与人类对照。
对后训练的意义约 10,000 RD + 评测切片约 50 分账;avg@8 难度带与准确率门禁项目标定。
朗慧定制交付样本集 + 答案键 + 域/子能力标签;无工具协议写进验收。
参考:BabyVision paper · GitHub · 查看交付详情 →
多模 · 高难ZeroBench:主任务 + 子任务拆解
ZeroBench 以极高难度视觉推理著称(发布时多模型 0 分),小而精的主任务 + 子问题结构,适合测试时 scaling 与级联失败诊断。
前沿算法语境子任务拆解为过程监督与错误定位提供钩子,是多模 RL/诊断集的重要形态。
学术论文与产业动态与 BabyVision 组合:一个铺原子能力,一个锁极端难度头。
对后训练的意义约 1,000 RD + 评测切片约 50;@k 正确次数带项目标定。
朗慧定制交付题集 + 主/子答案键;评测切片单独版本钉扎。
参考:ZeroBench paper · zerobench.github.io · 查看交付详情 →
多模 · 文档GDP.pdf:专业文档多模态理解
知识工作大量发生在 PDF/表格/幻灯片中;证据常在 layout、图表而非纯文本。GDP.pdf 类数据把 GDPval 的经济价值思想延伸到文档多模态证据链。
前沿算法语境后训练需均匀覆盖四类格式,并以证据定位(页/表/图)作为可审计标注,而非只有最终答案。
学术论文与产业动态金融、法律、工程、高等教育等专业域决定专家审核成本与溢价。
对后训练的意义约 2,000 RD;答案准确率与标定模型 @k 带项目确认。
朗慧定制交付文档包 + gold + 证据定位 + 专业复核记录。
参考:GDPval 经济价值任务观 · 查看交付详情 →
多模 · 过程Design Arena:设计理解与 CoT recover
设计生成兼具主观审美与可执行约束;可恢复 CoT(过程轨迹可用率)决定能否做过程监督与偏好对齐,而不只是看最终图。
前沿算法语境与 Coding Arena 类似,人类偏好与可机检约束需要同时进数据集。
学术论文与产业动态主口径约 2,500 RD,可分批(首批约 1,000 起评);CoT recover 参考 ≥98%、答案准确率参考 ≥95%。
对后训练的意义支撑设计 Agent、过程奖励与多模 DPO。
朗慧定制交付任务包 + 产出物 + CoT 轨迹 + 可选偏好对。
参考:设计偏好与过程监督数据工程实践(项目定制) · 查看交付详情 →
安全AI+安全:Security LLM 与攻防对齐
通用后训练之外,安全侧双轨并行:检测五元组与 ATT&CK 技能服务 Security LLM;漏洞利用 Agent 环境对齐 ExploitGym / ExploitBench(隔离镜像、flag+on-target、防泄漏与难度标定)。细节与可签验收见安全专页。
前沿语境生成式攻击规模化、ATT&CK 狩猎框架普及、专用安全大模型崛起,使「通用模型 + 安全数据后训练」成为刚需。
与总入口关系在四大板块中与编码/Agent/调研正交:可单独采购,也可与工具/终端环境组合做安全 Agent。
验收要点攻防配对可核验、战术技术覆盖表、标签一致性与版本去污。
专页:ai-security.html · 总入口映射见 四大板块