MEDICAL DATA RESEARCH
医学多模态图文题库:先证明图像必要,再谈模型推理
医学多模态图文题库的关键不是堆叠影像,而是证明每道题确实依赖视觉证据。本文从医学模态与任务分层、专家参考标准、图像去除对照、多图时序、反捷径测试和独立验收,拆解可复核的数据设计与交付边界。
一张胸片、病理切片或心电图被放进题目,并不意味着题目真的考查了视觉能力。如果题干已经把病变、部位和结论全部写出,模型即使不读取图像,也可能给出正确答案;相反,如果题目要求识别图中一个未被文字复述的结构,答案就必须受到视觉证据约束。医学多模态题库建设的第一道关,不是增加图像数量,而是逐题证明:移除图像后,合格答案应当改变,或至少无法可靠判断。
这类题库的用途可以是医学视觉语言模型的训练、研究型评测和医学教育场景的能力分析,但不等同于临床诊断工具,也不自动产生临床有效性。下面从一个可匿名复用的大学水平医学图文题库需求出发,拆解临床任务、数据结构、专家标注、算法路线和验收逻辑,并说明怎样把“看图答题”做成可复盘的数据资产。
先把医学任务拆成可验收的题目
需求的医学范围不应只写“覆盖医学影像”。医学视觉信息来自不同设备、制备方式和观察目的,题目也必须按模态、解剖部位、病种或体征以及课程层次拆开。放射影像可以包含X光、CT和MRI,题目可能要求定位异常、识别征象、比较序列或解释结构关系;病理任务可能使用染色切片或全切片图像,考查组织结构、细胞形态、病变分级或鉴别依据;心电图题需要明确导联、波形时间尺度和节律标签;皮损、眼底、口腔和内镜图像则要区分可见体征、部位和鉴别诊断依据。显微镜下的微生物、血涂片和尿沉渣,不能与宏观临床照片混成一个“医学图像”标签。
医学基础与临床专科还可以使用解剖结构图、实验室结果图、药代动力学曲线或带标记的教学图。它们的视觉证据形态不同:曲线依赖坐标、斜率和时间关系,心电图依赖波形与节律,解剖图依赖空间对应,病理图依赖局部形态与组织层次。题目字典至少应记录模态、解剖部位、病种或体征、临床或课程任务、题型、难度、认知层级和所需视觉证据。这样才能判断某一批数据究竟补充了哪个能力,而不是只报告一个总题数。
输入和输出也要在题目级固定。输入通常包括一张或多张图像、题干以及必要的选项;输出包括标准答案、可核对的简短解题依据、知识点和难度。对于要求定位的题目,还应保留证据区域、关键点或曲线区段;对于多图、序列或动态视频帧,应记录图像顺序、时间关系和比较对象。对于图像信息不足、质量不合格或存在多个合理解释的样本,应允许“不确定”“无法判断”或“需要更多信息”,而不是强迫专家给出看似完整的诊断结论。
这一步把源需求中的题目结构转成了数据颗粒度:题目是最小交付单元,图像是证据输入,答案和解析是语义输出,证据区域是可选的定位标签,模态与解剖标签是分层索引,许可、脱敏、版本和分割信息是治理字段。不要把一张图的多个问法直接当成多个独立病例;同一检查、同一切片或同一视频序列派生出的题目应保留共享来源键,避免在训练集和测试集之间发生图像或患者级泄漏。
图像依赖性要用反事实对照证明
最简单的视觉依赖性检查,是把同一道题制作成有图和无图两个版本。审阅者先只看文字版本,判断是否仍能准确作答;如果文字已包含全部病变、位置和关键数值,题目就不能作为真正的图文推理样本。无图版本不必保证完全无法猜测,但应让关键得分点失去依据。反过来,若去掉图像后答案仍然稳定,说明附图可能只是格式载体或装饰。
医学任务还需要第二层检查:答案中的每一个关键判断能否回指图像。对于胸片或CT,题目可以要求指出异常所在的肺叶、器官或影像征象;对于病理图,需区分“图中可见的形态”与依据病理报告才能确认的诊断;对于心电图,应写清用于判断的波形、间期或导联;对于曲线,应记录坐标轴、峰值、下降段或时间关系。证据字段不一定要求把每个像素都分割出来,但必须让复核者知道专家依据了哪一块图、哪一条曲线或哪一段波形。
以胸部X光场景为例,HEAL-MedVQA 的研究给出了一个值得借鉴的方向:仅看答案准确率,无法发现模型是否依赖语言捷径或图像中无关区域。该基准通过替换问题中的解剖或疾病词,观察答案是否随关键文本变化;也通过替换被询问的图像区域,检查模型是否真的关注目标位置,并配合医生标注的解剖区域进行定位评测。1 对题库建设而言,这意味着“图像必要”不应只在入库时做一次人工判断,还可以把文字扰动、区域扰动和无图对照保留为评测副本。研究中的扰动分数是模型研究结果,不应转写成临床诊断能力或交付保证。
因此,一个合格的题目记录应至少有三条可追溯关系:题干中的问题指向哪一类视觉证据,参考答案中的得分点依赖哪一片区域或图形关系,以及移除或替换该证据后答案为何应当改变。对无法定位的开放题,可以采用“专家理由—证据类别”的结构化短语,而不是把不可复核的长篇解释当作唯一标签。
图1|技术示意:医学多模态题库的输入、标注、审核、分割与评测链路;不表示真实患者、实验完成或临床诊断。
数据设计要同时服务训练和评测
医学题库常见的第一个陷阱,是把“题型多”误认为“能力覆盖广”。选择题、填空题和开放题可以共存,但题型变化不能替代模态、部位、病种和认知操作的覆盖。一个可实施的分层方案,是先按模态与解剖系统建立目录,再按任务分成识别、定位、比较、解释、分级和鉴别,最后按本科课程、研究生入学或竞赛级别定义难度。高难度不应只是术语罕见,而应来自需要整合多个视觉线索、处理不确定性或比较多个图像。
第二个陷阱,是让同一模板批量替换病名和数值。医学图像中病变的形态、位置和上下文关系往往不是独立变量。大量模板化题目会把某个高频病名与某个部位的共现关系泄漏给模型,模型看似答对,实际没有完成观察。Medical-CXR-VQA 的数据发布展示了较细的医学问法拆分,包括异常、位置、类型、程度、视角和存在性等字段,并对中间结构化信息和最终问答分别进行专家核对。3 这提示题库应把“医学事实抽取”和“题目生成”分成两个可审计阶段:先固定异常—位置—类型—程度等结构,再从结构生成题目,同时保留原始证据与否定信息。
第三个陷阱,是只为单帧识别设计题目。真实的医学学习和研究经常需要比较不同序列、不同时间点或同一检查的多张图。MedFrameQA 使用医学教育视频中的叙事文本与图像帧对齐,构建多图、带时间语境的医学问答,并观察到模型在图像数量变化和病理进展跟踪上仍有明显困难。4 在新题库中,如果输入是多图,就应把图像顺序、相邻帧关系和比较问题写入字段;如果输入是单图,就不要把单帧结果外推为纵向变化能力。
数据分割必须围绕独立性,而不是文件名随机抽样。来自同一患者的多次检查、同一切片的不同裁剪、同一视频的相邻帧或同一教学图的不同压缩版本,应该在同一分割中。可根据项目目标进一步按来源、设备、时间段或机构进行外部测试。训练、内部测试和外部测试的含义要写进数据卡;“验证集”在医疗语境中容易与临床有效性混淆,报告时应明确它是调参用的内部留出集,还是来自新来源的外部测试集。5
专家标注不是只填一个答案
医学题目需要至少两类专业责任。第一类专家负责判断图像中的医学事实和参考标准,例如影像科、病理、心电、眼科或相关基础医学方向的人员;第二类人员可以负责题干清晰度、选项互斥、单位格式、答案结构和字段完整性。两者不能互相替代。懂格式的标注员不应独立决定病理分级或影像征象,能给出诊断意见的专家也需要按照冻结的字段规范交付可复核记录。
同一题的医学判断宜先由两位合格专家盲审。双方一致时保留各自依据;不一致时进入仲裁,并记录争议属于图像质量、边界定义、病种命名、严重程度、答案唯一性还是题干歧义。争议率本身是质量信号,不应通过简单取平均来掩盖。对于不确定或信息不足的样本,专家可以共同确认“不可判断”的适用条件,并把拒答理由写成可审计的短标签。
理由标注要控制颗粒度。MedThink 研究在既有医学 VQA 数据上加入中间的医学决策理由,并结合人工标注构建带理由的数据集,说明理由链能帮助研究者分析模型如何从图像问题走向答案。2 但理由不是越长越好,也不能把未经核实的模型生成文本当作医学参考标准。适合交付的做法,是要求专家给出短而可核对的证据说明,例如“右下肺野可见局灶性高密度影,题目只据此判断是否存在该征象”,并把超出图像直接可见范围的推断单独标记。这样既能支持错误归因,也避免把不可验证的推理叙述伪装成临床事实。
参考标准必须和任务相称。教学解剖题可以使用经审核的教材或专家共识;影像体征题可能需要多名影像专家;病理分类可能需要切片、报告和临床上下文的组合。不能把某个标注者的单次判断写成绝对真值。CLAIM 2024 更新建议使用“参考标准”而非“金标准”或“绝对真值”,并要求说明参考标准的获得方法、专家指导、潜在误差和适用限制。5 这对医学题库尤其重要:题目答案是研究或教学用途的参考标签,不等于对真实患者的最终诊断。
算法路线应先服务于可核验性
算法可以提高整理、预标注和评测效率,但不应替代医学定义。第一步是对图像与文本进行入库检查:确认文件完整、分辨率和显示方式满足题目要求,排除无法辨认或来源不清的图像,并记录许可和去标识状态。医学影像的像素、标题、烧录文字和附件都可能携带身份线索,脱敏记录要与批次和版本绑定。CLAIM 2024 更新将数据来源、纳排标准、预处理、去标识、缺失数据和采集协议列为可复现报告的重要内容。5
第二步是用规则和模型辅助抽取结构化字段。OCR、视觉检测、语言模型或知识库可以提出异常位置、器官、病种和题目候选,但它们的结果只应进入待审队列。对于否定词、程度词、时间变化和多个异常并存的报告,系统必须保留原文证据和人工修订记录。若模型从报告生成问答,需抽查生成题是否真正对应图像;仅有文字报告而没有可读图像的样本,不能冒充视觉依赖题。
第三步是生成评测副本。除常规的标准答案和分层准确率,还可以设置有图/无图对照、关键短语替换、目标区域替换、负样本、拒答样本和多图顺序变化。开放题要结合医学专家评分,评估答案是否包含必要的病变、部位、程度或依据;选择题要检查选项是否通过文字暗示答案。若使用自动评分,应先用专家双盲样本校准语义等价、单位和同义表达的边界,再锁定评分器版本。
这条路线也能降低“训练集好看、评测集失真”的风险。题目作者、初审专家和最终评测人员应尽量分开;模型提示词、图像预处理、评分口径和随机种子要归档。对于新模态或新专科,不宜直接套用已有题型,应先做一轮小样本试标,观察专家是否能稳定判断视觉证据和参考标准,再决定扩展。
质量验收要看失败类型
验收不能只写一个总正确率。第一项是视觉依赖:随机抽取题目做有图与无图对照,记录无图时答案是否仍可由题干推出。第二项是医学正确性:由独立专家核对答案、关键术语、部位、程度、单位和解析是否与参考标准一致。第三项是证据可回指:定位题要能指出区域、关键点或曲线片段,开放题要说明依据来自图像还是外部知识。第四项是题目独立性:近重复图像、同源裁剪、相邻帧和语义近重复题要进入去重流程。
第五项是分层覆盖与偏差。应分别报告模态、解剖部位、病种或体征、题型、难度、正负样本和不确定样本,不能用一个总体数字掩盖某一专科缺样。设备、图像质量、来源人群和采集场景的差异可能造成系统性偏差;外部测试集应尽量来自不同来源或时间段,并注明它与训练数据的距离。第六项是数据治理:每条图像的许可和脱敏状态可追溯,题目、图像、答案、证据和版本号能够成组导出,返工记录不会覆盖历史版本。
如果项目需要用多个模型反复筛选高难度题目,验收应先冻结模型版本、提示词、图像预处理、抽样办法和重复次数,再定义“通过率低于某阈值”所代表的研究含义。它可以用于筛选模型暂时薄弱的题目,但不代表题目具有临床价值,更不能把研究性模型得分直接写成诊断性能。所有阈值都应与题目难度、专家正确率和外部测试结果分开记录。
图2|技术示意:从单题图像证据到数据集独立测试的验收关系;不表示真实患者、实验结果或临床诊断。
从样例评估走向可复用交付
对数据采购或研发团队而言,最稳妥的业务逻辑不是先承诺大规模,而是先明确一个小型样例包:每个模态和任务都提供通过与退回示例,附题目字段、视觉证据、专家意见、许可说明、版本号和分割方案。样例通过后再冻结指南、盲审流程、争议仲裁和停线条件。扩量阶段按模态、解剖部位和难度分批交付,失败样本进入返工单,不与合格量混算。
服务方的能力边界也要写清。已核验的医疗数据基础设施能力可以支持按部位、模态和任务组织目录,围绕样例评估、项目规格、数据卡、质量记录和版本交付展开工作;这并不证明某个具体专科已有现货题库,也不证明已完成临床验证。需要专家决定的医学参考标准、图像许可和伦理授权,仍应由项目各方按书面范围确认。技术团队可以提供结构化流程、标注工具和质检记录,但不能把平台能力包装成诊疗资质或监管批准。
最终交付应让研发人员能够回答四个问题:这道题要求模型看什么,答案由哪条视觉证据支持,哪位合格专家在什么版本下复核过,以及模型在独立样本上是否仍然依赖图像而不是题干捷径。只有当这些关系可以从数据卡、样例和版本记录中复现,医学多模态题库才不只是“图加问题”的集合,而是能支持训练、评测和错误分析的研究基础。它的价值不在于宣称模型已经会诊断,而在于把医学视觉推理中最容易被忽略的证据链变成可检查、可迭代的工程对象。
参考来源
- Localizing Before Answering: A Benchmark for Grounded Medical Visual Question Answering
- MedThink: A Rationale-Guided Framework for Explaining Medical Visual Question Answering
- Medical-CXR-VQA dataset: A Large-Scale LLM-Enhanced Medical Dataset for Visual Question Answering on Chest X-Ray Images
- MedFrameQA: A Multi-Image Medical VQA Benchmark for Clinical Reasoning
- Checklist for Artificial Intelligence in Medical Imaging (CLAIM): 2024 Update

