跳至正文
朗慧科技

MEDICAL DATA RESEARCH

从真实问诊到专科 Benchmark:病历大模型数据如何把时间、证据与风险验收连成一条链

面向医疗AI研发与数据采购团队,拆解真实多轮问诊、脱敏病例、纵向随访和六专科LLM/VLM Benchmark的数据粒度、证据边界、标注裁决、隐私治理、患者级划分与独立验收方法。

医学模型训练与评测AI辅助整理 · 研发交流

一段包含皮损图像、检查报告和医生追问的问诊记录,究竟应当被当作一条对话、一份病例,还是一个视觉语言评测题?答案不能由文件后缀决定。对医疗大模型而言,真正的技术问题是:模型在每一个时间点能看到哪些证据,哪些结论尚未发生,哪些信息只是缺失而不是阴性;当文本、图像、报告和随访被重新组织后,训练目标与独立评测是否仍然对应同一临床任务。

这类需求通常同时包含真实多轮医患对话、去标识病例、纵向随访记录,以及面向多个专科的 LLM/VLM Benchmark。它们可以共享数据治理基础,但不应被压成一张“病历文本表”。对话需要保留轮次和信息可得性,病例需要保留临床字段与不确定性,随访需要保留同一匿名个体的时间链,Benchmark 则要把答案、风险、证据和拒答边界写成可复核的评分对象。只有先拆开临床任务,再决定数据结构、标注主体和验收口径,数据才有机会支持可靠的模型训练与评估。

一、先按临床任务拆分四类数据

真实多轮对话的最小单元应是一次完整的就诊或咨询会话,而不是把不同人的句子拼接成“更长”的样本。对皮肤病及检查报告解读场景,输入可能包括患者的主诉、医生追问、专科查体、检验或检查报告、皮损图像,以及后续复诊信息;输出则可以是下一轮合适的追问、当前已知事实的结构化摘要、需要补充的证据、风险分层或安全的分诊提示。输出不是把最终诊断提前塞进开场,而是模拟模型在当时信息条件下能够作出的回答。

因此,对话记录至少要保留轮次顺序、角色、相对或绝对时间、原始表达与关联对象。某张图像或某份报告只有在它确实被某一轮引用、展示或产生之后,才可进入该轮的可见上下文。治疗后照片、复诊结论或后来补充的检验,不能回填到更早的模型输入中。把事后结论写进早期提示,会制造未来信息泄漏:模型看起来更会判断,实际上只是提前读到了答案。

去标识病例的任务不同。它更像一个可检索、可结构化的临床事件单元,需要组织主诉、现病史、既往史、查体、专科查体、辅助检查、初步与最终诊断、治疗经过以及医嘱或随访等字段。中医场景还要单独保留望、闻、问、切等四诊信息、证候判断和治法处方的原始依据,并区分西医诊断、疾病状态与中医证型。标注系统不能把四诊记录自动等同于现代实验室结论,也不能把“待排”“疑似”“未见异常”和“没有记录”压成同一个标签。

纵向随访病例则以同一匿名个体的多次时间节点为核心。首诊、复诊、检查变化、症状变化、不良反应、治疗调整和结局之间必须有受控的关联键。纵向的价值不在于记录越长越好,而在于研究者能够回答“哪个结果在什么时候出现、依据哪一次记录、与哪项干预相邻”。没有明确的时间节点和缺失说明,所谓疗效变化可能只是不同记录之间的错配,不能直接作为预测标签。

多专科 Benchmark 是独立的评测产品,而非训练病例的附属表。文本题要定义任务类型、输入范围、参考要点、风险等级和拒答条件;图文题还要定义图片或报告可见内容、文本病史可见内容,以及二者不能互相越权的证据边界。皮肤病、生殖男科、生殖妇科、内分泌、男科和临床营养可以共享数据字典框架,却应分别建立场景边界。例如,生殖男科侧重生育力与辅助生殖评估,生殖妇科应明确月经、生育史和妊娠相关风险的证据范围,男科侧重泌尿生殖与性功能问题;营养题需要标记照片中可见的食材或标签,同时保留份量和烹饪方式的不确定性。

病历大模型数据从就诊事件到可审计评测的技术组织示意查看完整技术图(可放大)

图1|技术示意:四类数据任务共享治理层,但在时间上下文、输入模态、标签粒度和评测输出上分别定义;不表示真实患者、实际实验或临床诊断。

二、用“事件—证据—标签”而不是文件夹组织数据

一个可复用的数据模型可以把记录拆成患者级匿名键、就诊或咨询事件、模态对象、标签对象和来源血缘五层。患者级键只用于内部关联,不应直接暴露可识别身份;事件层记录发生时间、场景和角色;模态层保存文本、图像、报告或结构化检查;标签层记录观察事实、临床判断、风险和不确定性;血缘层说明标签来自哪份原文、哪一张图、哪一轮对话以及哪一版指南。这样做的目的不是增加表格列数,而是让每个结论都能回到证据。

多模态关联应当细到“哪一张图对应哪一次检查、哪一份报告对应哪一次采集、哪一轮对话引用了哪个对象”。皮肤病图像需要记录身体部位、采集视角、采集阶段和可见性限制;皮肤镜、真菌检查或病理报告等资料,不能因为都含有“皮肤”字样就自动视为同一次检查。对于报告照片,OCR 文字、人工转写和原始报告应分别标记,避免把识别错误悄悄变成临床事实。

纵向数据还要保留事件间的时间关系。相对时间可以在规则明确时转换为统一轴,但无法安全转换的表述应保留原文并标记不确定。缺失不是“正常”,也不是可以由标注员用常识补上的值;它可能意味着未检查、未随访、未获得授权或原始文件缺失。建议为每个字段增加“已观察、明确阴性、未记录、无法判断、冲突待裁决”等状态,并在训练和评测时决定哪些状态可作为输入、哪些只能用于质量分析。

PULSE 等纵向多模态研究将历史状态作为当前访问的上下文,并采用患者级训练与留出测试划分,使同一人的各次随访不会跨集合泄漏;其研究还通过主动遮挡已观测模态来检验模型是否真正利用了剩余证据,而不是依赖固定的缺失模式。5 这对病历数据设计有直接启发:随访点应当明确“当时可用的模态”,并把缺失机制作为数据属性,而不是在交付前无条件补齐。

三、算法路线要服从信息可得性

四类数据可以对应四种互补的模型用途。多轮对话适合训练上下文记忆、问题澄清、证据引用、风险识别和安全拒答;脱敏病例适合做临床实体与关系抽取、病程摘要、字段补全的受限任务以及中医证候表达的结构化映射;纵向随访适合学习事件排序、状态变化、干预与结局的时间关系;Benchmark 则用于检验模型是否能在未见样本上保持证据一致、风险敏感和跨专科稳定。

建模时可采用“模态专属编码器加时间编码,再进行受控融合”的路线。文本编码器保留否定、条件、程度和不确定表达;图像编码器只对实际可见区域形成表征;数值与报告字段保留单位、参考范围、采集时间和是否缺失;时间模块区分同一次就诊内的轮次顺序与跨就诊的随访间隔。融合层可以是交叉注意力、带门控的混合专家或其他可解释接口,但应输出各模态和各时间点的证据索引,不宜只交一个没有来源的最终分数。

在对话训练中,因果遮罩和时间切片比“把整份病例拼成长上下文”更重要。训练目标应让模型在轮次 t 只能使用 t 及之前允许访问的内容;医生后来给出的检查结果可以作为下一轮目标或监督,但不能作为前一轮输入。对于多轮问诊,评价也应拆成追问是否针对未知关键事实、回答是否忠实于已知证据、是否正确识别需要人工或线下处理的高风险情况,而不是只比较字面相似度。

在纵向和多模态任务中,缺失模态鲁棒性应通过显式的遮挡、缺失标记和分层测试评估。模型可以在输入不全时输出“当前资料不足”,但不能把看不到的图像细节写成确定结论。对营养照片、隐私部位图像、低照度皮损或模糊报告尤其要保留不可判定标签;拒答不是失败样本,而是安全行为的一部分。任何从缺失模式直接推断疾病或结局的特征,都需要在外部验证中检查其是否只是来源机构、设备或随访流程的代理变量。

Benchmark 设计还应有训练、开发、内部测试和独立外部测试四个角色。评测集不能因为“方便复用”而进入训练,公开病例、论文附录或历史题库的近重复也应单独标记。MedCheck 对 56 个医学大模型基准的审查提出了面向全生命周期的检查框架,指出临床贴合、数据污染、鲁棒性与不确定性感知经常被忽略;这意味着 Benchmark 的价值不在题量,而在于题目是否能代表真实决策中的证据限制。6

四、专家标注要把医学事实与模型行为分开

标注主体应随任务变化。皮肤病图文题需要皮肤科相关临床知识与图像可见性判断;中医病例需要具备相应中医临床经验的审核者,同时对药名、剂量、禁忌和证候表述进行人工核对;内分泌、营养和生殖相关任务应由与场景匹配的临床专家参与;对话安全标签则需要能识别急症线索、越界诊断、过度确定和不适当用药建议。人员资质、专科匹配、任务版本和审核角色都应进入记录,不以“医学专家”四个字替代可追溯的职责定义。

建议把标注拆为四层。第一层是事实层:文本中明确出现了什么,图像中能否指出对应区域,报告中是否有数值和单位。第二层是临床解释层:诊断、证候、鉴别或治疗经过属于什么状态,哪些是初步判断,哪些是后续确认。第三层是安全层:是否存在高风险、禁忌、紧急就医提示或不应自动回答的请求。第四层是模型行为层:回答是否引用了正确证据、是否遗漏关键追问、是否在证据不足时拒答、是否把建议表达成确定诊断。

对于图文 Benchmark,标准答案不应只是一个疾病名。它至少需要包含“可由图像支持的事实”“只能由病史或报告支持的事实”“当前无法判断的部分”“遇到何种风险应升级处理”四个区段。这样的答案既能约束视觉语言模型不越过图片证据,也能防止评测把医学推理简化成图像分类。对皮损图像而言,颜色、形态、分布和表面改变可以作为可见描述,但病因、过敏来源和治疗反应是否成立,需要回到病史、检查和随访,不能从单张图像直接推出。

多名专家之间的分歧不应被简单平均。独立初标后,可按预先冻结的规则进入裁决;若分歧来自原始资料不完整,则保留“不确定”或“冲突”标签,并记录争议依据。对开放式问答,还可采用证据句划线、错误类型、风险等级和要点覆盖的组合标注,再用盲测比较多个回答。分数必须能回到具体错误,不能用点赞数或总分掩盖医学事实错误。

五、质量验收要围绕可追溯性和外推风险

去标识不是只删除姓名和证件号。中国《个人信息保护法》将医疗健康信息列为敏感个人信息,要求处理具有特定目的和充分必要性,并采取严格保护措施;对敏感个人信息的处理还涉及单独同意、告知必要性和安全风险等要求。2 因此,训练用途、内部研究、独立评测和公开展示应在授权记录中区分,而不是把“同意诊疗”自动当成“同意模型训练”。跨机构或跨境使用还要由责任方依据适用规则核查,文章和项目说明都不应替代法务或伦理判断。

美国卫生与公众服务部的去标识指导也提醒,结构化字段和自由文本都可能含有标识符,临床叙述中的职业、地理、日期组合或独特事件可能增加再识别风险;去标识处理同时会损失部分信息,需要在风险和研究用途之间留痕权衡。4 对病历大模型而言,脱敏范围还应覆盖报告图片、图像文件头、烧录文字、附件名称、对话中的称谓以及可由多条记录组合识别个体的间接信息。质量报告应记录处理规则、残余风险评估、抽检结果和版本,而不是宣布“百分之百安全”。

国家卫生健康部门发布的健康医疗大数据管理办法强调标准化、唯一身份标识、复核终审、分级授权、访问留痕和可追溯。3 将这些原则落到本类数据,可形成一张分层验收表:来源和用途是否可核对;病例内字段和模态是否完整;图片、报告、轮次和事件是否正确关联;时间线是否存在倒置或事后信息;同一患者是否被拆到不同集合;文本、图像和报告是否近重复;高风险样本的禁忌和升级提示是否缺失;每项退回是否能定位到规则版本和责任角色。

不能把所有质量合并成一个“准确率”。对话可单独验收轮次顺序、角色一致性、真实性声明、未来信息隔离和医生复核;病例可验收字段完整、医学事实、否定与不确定、去标识和清洗;随访可验收时间节点、变化指标、结局落点和跨记录关联;Benchmark 可验收场景标签、风险标签、图片可读、OCR 可用、证据边界、可判定性和污染控制。对于隐私泄露、把合成对话冒充真实对话、严重医学事实错误、不同患者拼接或评测集进入训练等问题,应设置一票否决,而不是用其他样本的平均分抵消。

偏差检查至少要覆盖专科构成、年龄段、性别、语言表达、皮肤颜色与光照、图像设备、报告格式、机构来源和随访完整程度。少数场景不是“噪声”,而是模型实际部署时最容易失效的地方。分层报告应同时呈现缺失率、可判定率、拒答率、风险漏标和证据越界,不能只报告总体任务分数。纵向 EHR 的方法学研究显示,相关研究常处于测试和原型阶段,外部验证并不普遍;一项范围综述纳入的研究中只有少数使用了外部验证数据集。7 因而,内部留出集通过后,仍需用不同来源、不同时间或不同设备的数据检查外推,研究性能不能直接转换为临床效果。

病历数据质量门控与独立验证的技术示意查看完整技术图(可放大)

图2|技术示意:质量门控从来源授权、证据标注、结构与时间核对延伸到患者级隔离、污染排查和外部验证;不表示真实通过率或实验曲线。

六、把业务交付做成可复盘的研发接口

面向医疗 AI 研发团队,合理的交付顺序通常是先冻结临床任务和数据字典,再用少量合规样例验证字段、时间和证据边界,随后进行小批量生产、双人复核、争议裁决和版本差分,最后冻结独立评测集。每一轮都应同时交付数据文件、字段说明、关联键、缺失报告、授权范围摘要、质量记录和变更日志。这样,模型团队可以知道哪些内容用于训练,哪些内容只用于评测,哪些标签来自专家判断,哪些字段只能作为缺失或不确定状态。

采购或项目评估时,最值得先问的不是“有多少条”,而是:一次样本的临床任务是什么;输入模态和时间窗口是什么;输出标签属于事实、诊断、证候、风险还是模型行为;一条记录的最小粒度是轮次、就诊、患者还是评测题;由谁标注、谁终审、如何处理分歧;训练、验证、测试怎样按患者、来源和时间隔离;缺失、冲突、拒答和高风险如何验收;外部验证使用什么独立来源。问题回答得越具体,后续的算法选型和成本评估越少返工。

在已核验的公司能力边界内,朗慧的定位是 AI 数据基础设施和流程服务商,LangData 覆盖采集、处理、标注、质检和数据交付;医疗栏目提供按部位、模态和任务组织数据目录与项目化评估入口。这些信息可以支持数据字典梳理、标注流程设计、质量记录和交付接口的讨论,但不等同于某一专科现货、某个模型已经训练完成或取得临床效果。实际的来源、授权、专家安排、模态范围、周期与验收指标,仍应以项目书面确认和适用合规要求为准。

对需求方而言,真正可复用的不是一份看似完整的 Excel,而是一条能够从临床问题回到证据、从证据回到标签、从标签回到版本和验收记录的链路。对数据服务方而言,价值也不是把所有专科包装成一个“医疗大模型数据集”,而是承认不同任务的边界,按风险和证据粒度组织生产。WHO 的医疗人工智能治理指南强调,健康 AI 的设计、部署与使用应把伦理、人权、问责和对医疗工作者及个人的影响放在核心位置。1 这正是病历数据工程需要落实到字段、时间戳、授权和拒答标签中的原则。

当真实问诊、病例、随访和 Benchmark 被分别定义,又通过统一的事件与证据层连接起来,数据才能同时服务训练、调试、评测和审计。模型是否“理解”一份病历,不应只看它能否给出流畅答案,还要看它是否在正确的时间使用了正确的模态,能否指出依据、承认缺失、区分事实与推断,并在高风险场景下把决定交还给合适的临床流程。这些可复核的接口,才是病历大模型研发从语料堆积走向可靠验证的起点。

参考来源

  1. Ethics and governance of artificial intelligence for health
  2. 中华人民共和国个人信息保护法
  3. 国家健康医疗大数据标准、安全和服务管理办法(试行)
  4. Guidance Regarding Methods for De-identification of Protected Health Information
  5. Longitudinal alignments and syntheses of multimodal clinical data for personalized medicine with the PULSE framework
  6. Beyond the leaderboard: Rethinking medical benchmarks for large language models
  7. The Use of Deep Learning and Machine Learning on Longitudinal Electronic Health Records for the Early Detection of Diseases: Scoping Review