图 1|概念性数据结构示意,非现有库存数量或已完成流程证明。
一、把查询题与完整会话分开计量
附件区分单轮查询和完整 Agent 会话,这两类数据有不同复杂度、成本和评测目标。单轮查询可以测试检索、指标解释、计算与来源引用;多步会话要覆盖用户意图澄清、工具选择、参数构造、错误恢复、文件读写、状态管理和最终综合。报价与验收不能都按“问题条数”计数。每个会话需给任务边界、市场时间、时区、证券标识、数据新鲜度、允许工具和完成条件。
二、工具轨迹应可重放
对每次调用记录工具名称、输入参数、调用时间、数据供应方、返回快照或内容哈希、错误码、重试次数、状态变化和最终产物。市场数据随时间变化,只有保存数据快照、来源和时间戳,才能复现模型当时看到的信息。将工具结果直接粘在对话中但不保留结构化引用,会使轨迹不可审计。技能文件、代码、表格和图表也要纳入依赖版本与安全扫描。
三、金融领域的许可与合规边界
行情、指数、评级、研报、交易所文件和商业数据库均可能有不同的版权、展示、衍生分析、模型训练和再分发权限。可公开访问不自动意味着可批量抓取或用于商业训练。禁止引入内幕信息、客户账户资料、非公开交易策略和未经授权的研究报告。每种工具及字段应保留许可依据、用途范围、缓存周期和展示限制。市场评论要区分事实、计算结果、观点和假设,避免构成个性化投资建议。
四、覆盖金融任务而非只学术语
建议任务矩阵包含财报指标重算、同比环比、行业比较、利率与债券现金流、期权情景、组合风险、事件时间线、宏观数据追踪和研究报告证据核查。每题明确观察截止时点,避免模型借用未来数据。计算题提供可执行参考公式和精度容差;研究题给出可信来源清单与相反证据;Agent 题评估是否正确调用工具、检查单位和行情日期、识别缺失数据并在不能确认时停止。
五、避免把隐藏思维链当作商品字段
附件提及 reasoning_content。实际数据产品应优先保存可审计行动证据:模型版本、工具调用、参数、返回值、引用、简短决策摘要和最终产物。不要把供应商私有隐藏思维链、凭证或未授权研究材料作为必要交付要求。解释字段应采用简洁、可核实的理由或证据引用,避免泄漏敏感数据,也避免将无法验证的内心推理文本当成真实性标签。
六、评估 Agent 的真实质量
金融 Agent 的质量不止回答正确率。评估工具选择准确率、参数有效率、数据时间一致性、计算精度、来源支持度、任务完成率、无依据断言率、风险披露和预算/调用成本。用固定市场快照做回放测试,另设时间外测试以观察分布漂移。构造工具超时、空结果、冲突价格、拆股调整、缺失字段和异常单位等场景。对于交易决策类任务,应避免只用历史收益率评判,设置风险、回撤和基准对照,并明确不是投资表现保证。
七、朗慧的运营与交付方式
可将该方向运营为问题集、工具环境、标准轨迹、评分规则和回放基准五类产品。先以获准的公开文件和合成行情搭建开发环境,再逐步接入具有书面许可的商业数据。每批提供数据源清单、授权限制、轨迹 schema、工具版本、快照策略、事实核验、脱敏报告和复现脚本。附件中的九类领域是覆盖规划,不能据此宣称每一领域已有可售资产。
八、市场时间与数据修订语义
宏观数据、企业财报和行情都可能在发布后修订。每条事实应包含事件日期、首次公开时间、数据观察期、抓取时间、修订版本和市场时区。回测和问答需用“当时可知”快照,避免把后续修订数据泄漏给历史决策任务。拆股、分红、货币单位、复权口径和交易日历也应显式记录。若来源接口只提供最新修订值,就不能拿它训练严格的历史时点推理任务。
九、完整轨迹的存储模式
建议会话 JSONL 之外,配套 tool_registry、market_snapshot、artifact_manifest 和 evaluation.json。每个 event 包含顺序号、参与角色、工具名、参数、权限范围、返回摘要、内容哈希、错误状态和上下文引用。文件读写记录路径白名单、MIME、大小、哈希和沙箱状态;不应存用户机器任意目录。系统提示版本只保存已授权、可公开或经脱敏的配置摘要,密钥与认证头永远不进入训练集。轨迹回放应能重现同一状态和最终交付物。
十、财务计算的单位测试
常见错例包括百分比与百分点混淆、季度与年度口径错位、币种转换日期不一致、债券净价/全价混淆、收益率单位错误、期权合约乘数遗漏、复权前后价格不一致及分母选取错误。每个计算任务需提供独立公式、输入快照、单位、舍入规则和容差;通过参考代码或第二来源交叉核验。金融领域生成式模型应明确其计算是工具结果还是文本推断,不能让流畅说明掩盖数值错误。
十一、风险表达与不可用边界
Agent 应能区分历史事实、估值假设、未来情景和意见;缺少数据或工具结果冲突时说明未知并停止推断。禁止模拟真实交易授权,避免把训练输出表达为保证收益或个性化建议。测试集应含诱导泄露内幕、索取客户信息、越权交易、过时行情和不完整财报等安全场景。评价披露是否适当、是否确认市场时间及来源,而不只看答案方向是否猜中。任何部署用途都要单独做法律与合规审查。
十二、轨迹版权与发布许可
工具调用记录可能将第三方行情或研报实质复制进数据集。即使轨迹是模型生成,也要核对输入和工具回传内容的再分发权;输出摘要可能仍构成实质性替代。许可证登记需精确到来源、字段、地区、用途、缓存期限、展示限制和模型训练权。建立过滤器对超长原文、商业报告、个人账户和凭证做阻断。交付给客户时按许可区分可训练、可评测、仅内部审计和不可再分发几类。
从“文件集合”到可训练任务
数据集不是把影像、病历或轨迹装进压缩包就结束。面向基础模型预训练,需要来源可追溯、模态可解码、重复与污染可识别、分布可描述;面向监督微调,需要样本与任务、输入输出、参考答案及标注依据一一对应;面向偏好优化和强化学习,还要定义状态、动作、约束、奖励或可验证结果,并保留失败样例。三类用途可以共用底层实体和来源台账,但不能把同一条记录不加区分地重复计入训练、评测和验收。
以原始证据为锚点
工程上建议建立不可变原始层、标准化层、标注层和发布层。每个文件及派生对象记录来源批次、采集时间、授权文件编号、设备/软件版本、转换工具版本、校验和、脱敏策略和责任角色。转换只生成新版本,不覆盖原件;标注保存坐标、时间戳、标签、置信度、指南版本和复核记录。这样才能重建“模型看到的输入来自哪里、经过什么处理、谁作了什么判断”。
把切分与评测设计前移
医学与金融数据尤其容易发生主体泄漏和时间泄漏。应优先按患者、账户、家庭、建筑项目、设备或源机构分组,再按时间设定训练、验证、测试;同一患者的检查、报告和住院文书不得跨集合泄漏。测试集来源、标签和访问权限单独管理,冻结版本并记录哈希。内部随机切分只说明同分布表现,不能替代跨医院、跨设备、跨市场或前瞻性外部验证。
以错误分析驱动补数
总体准确率会掩盖少数群体、低频类别和关键边界条件。交付数据卡应同时报告单位定义、纳入排除规则、缺失率、重复率、字段完整率、标签一致性、类别分布、机构/设备/时间分布及置信区间。对困难样本、阴性样本、模糊样本和真实世界失败样本设置独立清单。数据补采的优先级应由下游错误成本与不确定性决定,而不是单纯追求更大数量。
用可复核的流程体现运营能力
朗慧可把能力落实为可审计的工作包:需求映射、权利与伦理核验、样本盘点、格式转换、双人标注、专家仲裁、自动化质检、盲测抽检、数据卡和版本发布。每个环节都应有输入、输出、责任人、判退条件和留痕。页面介绍的是拟构建方向,不等于已完成采购、取得授权或达到客户验收;正式承诺应以逐批数据清单、许可证明、样例评测和合同附件为准。
落到字段:最小交付实体
本方向建议以“问题/市场快照/工具调用/结果文件”作为主要实体,并为患者/项目/检查/会话等上层主体保留受控关联键。每条记录需要稳定 ID、数据版本、来源批次、采集或事件时间、生成/转换软件版本、权利依据状态和责任角色。字段级数据字典需要列出类型、单位、允许值、空值语义、原始来源和变换规则;派生标签应保留原文或几何证据指针。交付方要同时提供样本计数脚本和去重逻辑,采购方才能重算数量。
质控要覆盖的方向特异指标
除通用完整性外,至少跟踪:来源许可、市场时间、快照可复现、计算单位、调用权限、数据修订版本与凭证清理。指标应分别报告总体、批次、机构/设备和关键子群分布,列明统计分母、抽样方法、缺失处理和置信范围。数据异常不能只以“已清洗”概括,要保留缺陷类别、处置动作、返工数量和豁免依据。若某项指标不可计算,应明确原因与风险,而不是用空值掩盖。高风险字段可设置自动阻断阈值,但阈值要由项目方与领域专家签署确认。
任务设计围绕可观察能力
适合构建的训练和评测能力包括:财务计算、来源检索、工具路由、组合分析、情景比较、回放重现和安全停止。每个任务包需定义目标输入、可用信息截止点、输出结构、参考证据、允许的替代答案、失败边界和人工升级条件。监督微调数据可强调正确映射和证据引用;偏好数据需成对呈现质量差异及判据;RL 环境则必须加入状态、动作、工具权限、终止条件和奖励验证。不能把不同任务类型合并为一项综合分数,也不能用语言流畅度替代专业正确性。
必须主动测的失败模式
测试集要明确覆盖:未来数据泄漏、研报版权超范围、行情过期、拆股处理错误、凭证泄漏、过度投资建议和工具幻觉。针对每类错误准备最小反例和近似正例,检查标注者与 Judge 是否稳定区分。训练集、调参集和最终盲测集按主体及来源分开;所有派生版本记录样本哈希,审计重复与答案污染。对稀有但高后果的边界案例,单独报告样本量和不确定性,禁止把平均指标解释成全人群保证。发现错误时,要能定位到数据来源、字段、标注规则或模型组件。
客户可独立复核的验收包
本方向建议以如下证据作为可交付门槛:市场快照回放、计算对照、事实来源抽审、调用预算、授权范围清单和轨迹复现报告。此外提供数据卡、字段字典、来源与许可清单、去标识化说明、质量报告、标签指南、版本差异、样例使用协议和已知限制。验收抽样由双方约定的随机种子或采购方独立抽取,并保留复核过程。涉及敏感信息的样例应在受控环境检查,不能通过邮件或公开网页传递原始记录。任何数量、准确率或完成率都注明测试日期、批次、分母及责任签署人。
治理、合规与用途边界
任何敏感数据都必须先回答“谁有权提供、为何可处理、谁可以使用、能否再分发、何时删除”。健康与精神健康记录属于敏感个人信息场景,不能仅凭删除姓名就宣称匿名;影像标签、稀有事件、机构和时间组合仍可能重新识别。应完成合法处理基础、必要性与最小化评估、单独同意或其他适用基础核验、伦理审查、访问控制、加密、导出审批、日志审计和到期删除设计。跨境、商业训练、公开发布和模型权重再分发分别核验。
复现、漂移与版本发布
建议为每次构建生成批次快照,固定输入清单、转换代码、标注指南、模型和评测器版本;关键步骤有变更时,不覆盖已发布版本,而是生成新版本并写明变更原因、影响字段、受影响样本数和回归测试。定期检查来源接口、设备软件、指南、市场数据或业务模板变化。若分布漂移超出约定范围,应暂停自动发布并重做代表性抽检。客户引用数据卡时可以定位到批次和版本,朗慧内部也能从缺陷报告回溯处理责任。
从数据质量到业务价值的闭环
运营指标应与模型风险和客户工作流连接:数据是否覆盖目标场景、标注分歧是否集中在高价值边界、模型错误是否能通过补采或规则调整降低、每轮迭代的成本和质量是否可解释。建议设置需求提出、样例验证、权利审查、工程构建、专家复核、买方盲测和售后监控等阶段门,每阶段明确责任人及退出条件。复盘不仅记录通过的样本,也要记录拒收、授权不足、格式失败和模型失效案例,使下一批建设有证据而非凭经验扩量。
发布与持续运营的管理指标
产品运营应分开追踪需求确认周期、来源核验通过率、样例到正式批次转化率、字段和格式一次验收率、专家复核分歧率、返工周期、客户复测差异及版本更新影响。指标须注明计数单位、统计时间和样本范围,避免用“交付量”掩盖权利材料或质量缺陷。每次发布前由数据负责人确认数据卡与页面描述一致,法务/隐私负责人确认允许用途,技术负责人确认格式及复现,领域专家确认标签规则。发生版本变化时同步更新目录、数据字典、样例协议和客户通知记录。
参考资料与技术依据
- FinRobot: An Open-Source Financial AI Agent Platform
- FinRobot equity research agents
- ToolSandbox, Findings NAACL 2025
- SEC EDGAR APIs official
论文用于说明方法和研究方向;结果依赖其数据与实验条件,不直接证明本页面所述数据已经建成或可用于特定部署。
联系朗慧,讨论样例与数据方案
朗慧科技
电话:137-5502-0164
邮箱:lk@langhuiai.com
地址:长沙高新开发区文轩路27号麓谷钰园F1、F2栋2006房
请注明关注的数据方向、用途、模态/字段、预期规模和交付时间。具体范围以授权核验及双方书面确认结果为准。