xmlns="http://www.w3.org/2000/svg"

style="display:

none;">

Concept-Enhanced

Multimodal

Generation

Authors:Marco

Salmè,

Guarrasi

Deep-Dive

Summary:

概念增强的多模态

RAG：迈向可解释且准确的放射学报告生成

摘要

利用视觉语言模型（VLMs）进行放射学报告生成（RRG）有望减轻文档负担、提高报告一致性并加速临床工作流程。

然而，由于缺乏可解释性以及容易产生与影像证据不符的“幻觉”发现，其临床应用仍然受限。

现有的研究通常将可解释性和准确性视为独立的目标，基于概念的可解释性技术主要关注透明度，而检索增强生成（RAG）方法则通过外部检索针对事实性依据（factual

grounding）。

我们提出了概念增强型多模态

RAG（CEMRAG），这是一个统一的框架，它将视觉表示分解为可解释的临床概念，并将其与多模态

RAG

架构、训练方案和检索配置进行的实验表明，在临床准确性指标和标准

NLP

和仅基于概念的基准。

这些结果挑战了公认的可解释性与性能之间的权衡假设，表明透明的视觉概念可以增强而非损害医学

VLM

的诊断准确性。

我们的模块化设计将可解释性分解为视觉透明度和结构化语言模型调节，为构建临床可信的

https://github.com/marcosal30/cemrag-rrg。

关键词：放射学报告生成，视觉语言模型，医学影像，可解释性，检索增强生成，多模态

AI

2

的可解释性对于临床部署至关重要。

目前的方法分为隐式解释机制（如理性生成、思维链推理）和显式概念表示。

隐式方法往往只是“看似合理”的辩解，而非计算机制的真实反映。

显式概念表示（如概念瓶颈模型）虽然透明，但需要大量人工标注。

最近的研究（如

SpLiCE）通过将视觉表示分解为特定领域词汇表中的临床概念，实现了可扩展且透明的解释，而无需牺牲表示的灵活性。

2.2

RAG

等框架通过提供具体的临床示例显著减少了幻觉。

尽管

RAG

提供了间接的可解释性，但这种透明度是无源的。

检索通常通过全局相似性匹配进行，缺乏关于应优先考虑哪些解剖结构或病理模式的显式指导。

2.3

局限性与动机

现有的方法将透明度和事实准确性视为分离的目标。

本研究的中心假设是：可解释的视觉概念可以作为语义引导机制，通过引导检索和生成向输入图像中的临床相关内容靠拢，同时增强透明度和准确性。

4

实验设置

4.1

数据集

• MIMIC-CXR：大规模数据集，包含超过

  370,000

  X-ray：较小的数据集，包含

  7,470

  模型配置与实验条件

  我们使用CXR-CLIP作为基础对齐模型，并采用SpLiCE进行概念提取。

  />评估了两种架构配置：

  1. LLaVA-Med：视觉编码器和

     LLM（Mistral-7B）均经过医学预训练。

  2. CXR-CLIP

     +

     Mistral-7B：使用医学预训练的

     CLIP

     Mistral-7B。

  我们评估了四种提示策略：

  • 仅图像

    (Image-Only)：仅使用视觉特征。

  • 概念

    SpLiCE

    MIMIC-CXR，进行域内检索；对于

    X-ray，由于数据量小，进行跨域检索（从

    MIMIC-CXR

    中检索）。

  Original

  Report

  Link:2602.15650v1

  部分平台可能图片显示异常，请以我的博客内容为准

  ---