MedGemma

1.5多模态能力展示：影像与文本联合诊断

1.

当医学影像遇见临床文本：一场真正的多模态对话

你有没有想过，当一张CT扫描图和一段病史描述同时摆在医生面前时，AI能否像经验丰富的专家一样，把这两类信息真正“融合”起来思考？不是简单地分别处理图像和文字，而是让它们在模型内部产生化学反应——影像中的异常区域提示文本中需要关注的关键词，而病史中的时间线索又引导模型更仔细地检查影像的特定部位。

MedGemma

1.5正在让这种深度协同成为现实。

它不是把医学影像和临床文本当作两个独立的输入，而是构建了一个统一的理解空间。

在这个空间里，肺部CT上一个模糊的磨玻璃影，会自然地与病史中“两周前开始干咳、低热”的描述产生关联；病理报告里“腺癌，Ki-67指数35%”的表述，则会激活模型对影像中肿瘤边界清晰度和内部结构复杂性的特别关注。

这种能力之所以珍贵，是因为真实的临床决策从来就不是单点突破。

一位放射科医生看片子时，脑子里必然回响着临床医生的问诊内容；一位肿瘤科医生制定方案时，眼前必然浮现着影像科提供的三维重建图。

MedGemma

1.5所做的，正是把这种人类专家的思维模式，用技术语言重新编译出来。

我们接下来要展示的，不是孤立的“图片识别有多准”或“文本理解有多深”，而是当影像与文本真正握手言和时，能碰撞出怎样令人眼前一亮的诊断洞见。

2.

真实病例演示：三组影像与文本的联合推理

2.1

病例一：早期肺癌的蛛丝马迹

一位58岁男性患者，有30年吸烟史，主诉“近三周偶有晨起干咳，无发热”。

门诊医生开具了低剂量胸部CT检查，并在电子病历中记录了上述症状。

影像输入：一组包含52张连续切片的胸部CT数据（DICOM格式），重点显示右肺上叶区域。

文本输入：“男性，58岁，长期吸烟史，近期出现晨起干咳三周，无其他呼吸道症状。

”

MedGemma

1.5的联合分析输出：

在右肺上叶尖段可见一处直径约6.2mm的纯磨玻璃结节（pGGN），边缘略显分叶，内部密度均匀。

结合病史中‘长期吸烟史’及‘近期新发干咳’，该结节符合早期腺癌影像学特征（Lung-RADS

4A）。

建议3个月后复查CT，重点关注结节大小及密度变化；同时可考虑检测血清CEA水平作为基线参考。

这里的关键在于，模型没有仅仅停留在“发现一个结节”的层面。

它将影像中细微的形态学特征（分叶、均匀密度）与文本中极具价值的临床线索（吸烟史、新发咳嗽）进行了交叉验证，得出了指向性明确的风险评估，而非泛泛的“建议随访”。

2.2

病例二：糖尿病肾病的进展评估

一位62岁女性，确诊2型糖尿病15年，既往有高血压病史。

本次因“双下肢轻度水肿加重一周”就诊。

医生调取了她三年前的肾脏超声报告和本次的MRI检查。

影像输入：本次肾脏MRI

T2加权序列图像，显示双肾实质信号不均；同时提供三年前的超声报告文本。

文本输入：“患者，女，62岁，糖尿病病史15年，高血压病史10年。

三年前超声报告：双肾大小正常，皮质回声稍增强。

本次主诉：双下肢水肿加重一周。

”

MedGemma

1.5的纵向对比分析输出：

对比本次MRI与三年前超声描述，可见显著进展：①

肾脏皮质回声从‘稍增强’发展为MRI上明确的‘皮髓质分界模糊’及‘皮质T2信号减低’，符合糖尿病肾病IV期改变；②

结合‘水肿加重’这一新发症状，提示肾小管间质损伤已影响肾功能代偿能力。

建议立即检测尿微量白蛋白/肌酐比值（UACR）及估算肾小球滤过率（eGFR），并调整降糖、降压方案。

这个案例展示了MedGemma

1.5的时间维度感知能力。

它不只是看“现在”，而是把“现在”和“过去”放在同一个坐标系里进行量化比较。

模型将三年前超声报告中的文字描述，精准地映射到本次MRI的视觉特征上，完成了跨模态、跨时间的病情演进推断。

2.3

病例三：疑难病理的综合判读

一位45岁女性，乳腺B超提示“左乳外上象限1.8cm低回声团块，边界不清，内见微钙化”。

穿刺活检获取组织样本，数字病理扫描生成全切片图像（WSI），同时病理科出具初步描述：“纤维腺体组织中见导管上皮增生，部分区域细胞排列拥挤，核仁明显。

”

影像输入：乳腺全切片病理图像（WSI），高倍镜下聚焦于可疑区域。

文本输入：“乳腺穿刺活检：纤维腺体组织中见导管上皮增生，部分区域细胞排列拥挤，核仁明显。

免疫组化待回报。

”

MedGemma

1.5的多尺度分析输出：

在WSI的指定区域，模型定位到多个具有诊断价值的视野：①

一处导管内充满异型细胞，细胞核大小不一，染色质粗糙，符合高级别导管原位癌（DCIS）形态；②

另一视野可见微浸润灶，癌细胞突破基底膜向间质少量浸润。

结合文本描述中‘细胞排列拥挤，核仁明显’，此为典型恶性征象。

建议尽快完善ER/PR/HER2免疫组化检测以明确分子分型。

在这里，模型展现了惊人的解剖定位与语义理解的协同。

它不仅能“看到”病理图像中最关键的几个高倍视野（这需要精确的视觉注意力机制），还能将这些视觉发现，与文本中“核仁明显”这样的专业术语进行概念对齐，从而给出比单纯图像识别或单纯文本分析都更深入、更可靠的综合判断。

3.

能力拆解：MedGemma

不是拼接，而是编织：统一的多模态编码空间

很多多模态模型的做法，是给图像和文本各自训练一套编码器，最后在某个层面上把两个向量“拼”在一起。

这就像把两根绳子并排绑在一起，它们物理上挨着，但内在纤维并未交织。

MedGemma

1.5则不同。

它采用了一种基于SigLIP的医学专用图像编码器，其预训练过程就深度融入了海量的医学图文配对数据。

这意味着，当它看到一张X光片时，其生成的图像嵌入向量，天然就与“肺炎”、“肋骨骨折”、“心脏肥大”等临床概念的文本嵌入向量，在同一个高维语义空间里彼此靠近。

图像和文本不再是两个平行宇宙，而是同一张地图上的不同坐标。

你可以把它想象成一个精通双语的医生。

他听懂“胸痛”这个词时，大脑里立刻浮现出心电图ST段抬高的图像；他看到一张CT上肺动脉充盈缺损的影像时，脱口而出的就是“肺栓塞”。

这种条件反射式的关联，正是MedGemma

从“看图说话”到“看图思辨”：超越基础VQA的推理跃迁

传统的视觉问答（VQA）模型，回答往往是事实性的：“图中有什么？”、“位置在哪？”。

MedGemma

1.5则更进一步，它能进行因果和关联推理：“为什么会有这个表现？”、“这与病史中的哪一点呼应？”。

在病例一中，模型没有止步于“右肺上叶有一个结节”，而是追问：“这个结节的形态学特征，在一个有长期吸烟史且新发咳嗽的患者身上，意味着什么？”

这种从“是什么”到“意味着什么”的跃迁，依赖于其强大的解码器-only

Transformer架构，该架构支持长达128K

tokens的上下文，足以容纳复杂的影像描述、详尽的病史、以及相关的医学指南片段。

3.3

解剖即语言：精准定位能力的临床价值

MedGemma

1.5不仅能说出“肺部有异常”，还能精确指出“右肺上叶尖段，距胸膜下1.2cm处”。

这种解剖定位能力，通过输出边界框（bounding

box）来实现，其准确率在Chest

ImaGenome基准测试中达到了38%，相比前代提升了35%。

这个数字背后的意义是巨大的。

对于放射科医生来说，一个精准的定位标记，能瞬间将他们的注意力从整张CT的数百个切片中，直接拉到最关键的那一张、那一个区域。

这不仅节省了时间，更降低了因疲劳或疏忽导致的漏诊风险。

它把抽象的“肺部”概念，转化为了可操作、可验证的具体坐标。

4.

效果边界：真实世界中的能力与清醒认知

4.1

它惊艳在哪里？

当我们说MedGemma

1.5的效果令人印象深刻，具体体现在几个看得见、摸得着的地方：

首先，是诊断建议的颗粒度。

它给出的不是“可能为恶性”这样模糊的结论，而是“符合Lung-RADS

4A标准，建议3个月复查”，直接对标临床工作流中的标准操作规范。

这种颗粒度，让它的输出可以直接被整合进医生的决策链条，而不是作为一个需要二次解读的“参考意见”。

其次，是跨模态证据链的完整性。

在病例二中，它把三年前的一句“皮质回声稍增强”，与本次MRI上“皮髓质分界模糊”这一视觉现象，用“糖尿病肾病IV期”这个病理生理概念串联了起来。

它构建的不是一个孤证，而是一条环环相扣的证据链，这正是高水平临床思维的核心。

最后，是对临床语言的深度理解。

它能区分“干咳”和“咳痰”，知道“水肿加重”比“有水肿”更具急性进展意义，明白“核仁明显”在病理语境下是细胞异型性的重要标志。

这种对临床行话的掌握，让它生成的报告读起来不像AI，而像一位思路清晰、表达严谨的年轻主治医师。

4.2

它的边界又在哪里？

必须坦诚地说，MedGemma

1.5并非万能。

它的强大，建立在“辅助”而非“替代”的基石之上。

我们观察到几个清晰的边界：

第一，它极度依赖输入质量。

如果上传的CT图像伪影严重，或者病史记录过于简略（例如只写“咳嗽”，而不注明性质、时间、诱因），那么模型的输出质量会大打折扣。

它无法凭空创造缺失的信息，只能在给定的“原材料”基础上进行最优化的推理。

第二，它擅长模式识别，但不擅长终极决策。

它能告诉你“这个结节高度怀疑恶性”，但它不会、也不能替你决定“今天就手术”还是“先穿刺”。

最终的治疗决策，永远需要医生结合患者的整体状况、家庭意愿、医疗资源等无数非结构化因素来做出。

第三，它的知识有“截止日期”。

模型的知识来源于其训练数据，对于2026年刚刚发布的某项突破性临床试验结果，它并不知晓。

它是一个极其优秀的“知识整合者”和“信息关联者”，但不是一个实时更新的“新闻播报员”。

认识到这些边界，不是对模型的贬低，恰恰是对它最务实的尊重。

它最理想的位置，不是取代医生，而是成为医生案头那个不知疲倦、过目不忘、逻辑严密的超级助手。

5.

总结：多模态不是技术噱头，而是临床思维的数字化复刻

用下来感觉，MedGemma

1.5最打动人的地方，不在于它参数有多大、跑分有多高，而在于它第一次让我真切感受到，AI真的在尝试理解“临床”这件事本身。

它不再满足于把影像切成块、把文本拆成词，而是努力去捕捉那些只存在于医生脑海里的、微妙却至关重要的联系——比如咳嗽的时间长度与肺部病变性质的关系，比如三年前的一个超声描述与今天MRI信号变化之间的病理逻辑。

这种能力，让它的输出不再是冷冰冰的数据，而是带着临床温度的思考。

它不会代替你做决定，但它会确保你在做决定之前，已经看到了所有应该看到的关联，想到了所有应该想到的可能。

如果你正处在探索医疗AI应用的阶段，MedGemma

1.5无疑是一个极佳的起点。

它足够强大，能让你看到多模态融合的真实价值；它又足够开放，无论是本地部署还是云端调用，门槛都设计得非常友好。

更重要的是，它提醒我们，技术的终极目标，从来都不是炫技，而是让最核心的人——医生——能够更专注、更高效、更富创造性地去践行他们救死扶伤的使命。