CVI

仍处于起步阶段#xff0c;但研究正在加速#xff0c;以帮助获取、处理和/或解释各种模式下的

CVI#xff0c;其…Deep

仍处于起步阶段但研究正在加速以帮助获取、处理和/或解释各种模式下的

系统包括对其工作原理的基本了解、与其他自动化系统相比的相对优势以及实施过程中可能出现的陷阱。

本文的目标是以简单易懂的方式回顾

CVI

只是一系列可调数学运算的应用这些运算将输入数据转换为所需的输出。

基于受人类神经系统启发的人工神经网络有几种类型的

CVI

系统在开发和实施过程中面临的挑战包括避免过度拟合、防止系统性偏差、提高可解释性和促进人机合作。

最后我们总结了

CVI

不是威胁而是可以看作心血管成像仪的合作伙伴以减轻技术负担并提高护理效率和质量。

仍然需要高质量的前瞻性证据来证明

CVI

人工智能系统历来使用基于规则的算法称为符号或经典人工智能。

然而人工智能最近的流行是由机器学习特别是深度学习推动的。

机器学习

(ML)

涉及无需明确编程即可学习的计算机算法而是依赖于模式和数据推理。

深度学习

(DL)

模型已被用于协助图像规划、简化图像处理或采集、自动测量、生成报告、增强解释、预测结果和深入表型队列框

系统在

中变得越来越普遍临床医生应该对底层方法有一个大致的了解。

我们的目标是阐明如何开发和实施

CVI

“机器学习”一词让人联想到媒体所描绘的自动化机器人导致人类灭亡的反乌托邦形象。

这种误解源于对机器学习技术方面的有限理解。

机器学习只需解决一些简单的数学问题有时数十亿或更多即可完成特定于定义任务的模式识别。

CVI

的背景下用于训练模型的特征类似于统计学中的变量通常是图像像素的数值表示补充中的图

3。

模型通过数学算法进行学习该算法通过最小化损失函数代表整体模型预测误差来调整参数类似于回归系数将输入图像映射到所需结果

算法一般分为两类监督式和无监督式。

监督式学习使用带标签的训练数据将输入映射到输出模仿儿童通过观察大量示例来学习识别动物的方式并使用明确的监督信号从错误中学习。

这是

CVI

无监督学习涉及在没有特定标签的情况下对输入数据进行推断。

例如无监督学习可用于对超声心动图视觉上相似的片段进行聚类以识别不同的视图。

14虽然这个概念框架很有用但这些类别并不互相排斥半监督学习使用部分标记的数据并且还存在其他形式的

中的深度是指使用人工神经网络它包含“深度”堆叠的多个层以形成越来越有意义的数据表示。

这种结构允许

模型直接处理复杂的输入数据例如原始图像而无需进行大量的手动预处理这一步骤在传统建模技术中称为特征工程补充中的图

的一个关键属性使模型能够潜在地发现复杂数据中的重要隐藏特征这些特征甚至对专家来说都可能不明显补充中的图

深度学习模型根据外部信息的反馈直接从图像中生成推论允许使用来自专家共识、未来结果或更具侵入性和更昂贵的测试的标签对模型进行心血管成像训练补充中的图

4C-E。

例如可以训练一个模型根据众包专家的共识标签测量超声心动图上的隔壁厚度15使用植入后结果作为标签直接从超声心动图剪辑中预测左心室辅助装置植入后右心室衰竭的风险16或使用来自侵入性冠状动脉造影术的标签预测负荷超声心动图17或负荷核心肌灌注成像18,19上的缺血。

此外DL推理通常比传统的图像处理方法更快允许生成DL模型在使用传统图像处理技术所需时间的一小部分内执行图像重建。

7模型可以随着时间的推移在大型队列中大规模部署从而可能提高可重复性并降低观察者内和观察者之间的差异20补充中的图4F-G。

卷积神经网络

深度学习系统的基础因为它们可以从图像数据中提取重要的空间不变特征即无论左心室位于图像中的哪个位置都可以识别它。

CNN

使用一系列在图像上滑动的过滤器来检测与特定任务相关的特征这些过滤器的值是模型的参数或权重补充中的图

(FCNN)

上勾勒和标记冠状动脉因为它们可以通过对单个像素进行分类来重现原始图像的蒙版表示。

生成对抗网络俗称

GAN由一类人工神经网络组成它训练生成器和鉴别器相互竞争以生成越来越逼真的图像类似于造假者试图智胜调查员它们已成为

CVI

深度学习模型通常包含数百万个参数或权重从而导致未知的复杂多维“百万维”损失函数。

因此训练

模型需要局部优化以最小化损失/错误这通常通过称为梯度下降的迭代算法执行附录中的图

7。

为了概念化梯度下降想象一个徒步旅行者在山顶上云层覆盖非常厚以至于徒步旅行者只能看到前方几英尺。

如果目标是下降到山脚徒步旅行者将朝着最陡的下坡迈出一步。

类似地机器计算当前模型状态下损失函数的斜率然后调整模型的参数以沿着这个斜坡“迈出一步”。

训练涉及迭代地将模型暴露于新示例并通过梯度下降调整模型参数以提高随着时间的推移的性能。

1.机器学习术语

人工神经网络的简化表示网络由按层排列的神经元或节点组成并通过称为权重的参数网络连接。

输入特征在每个隐藏层中进行变换以得到所需的输出F1-F4

表示隐藏特征。

每个特征节点的值计算为每个相应输入特征和权重的乘积之和。

然后该结果通过非线性激活函数。

这里显示的是

型逻辑激活函数它将值转换并限制在

之间通常用于输出层以进行二元分类概率预测。

请注意为了简化隐藏层中的偏差权重和激活函数被省略。

重要的是如果没有这些激活函数的非线性变换模型将简化为简单的线性模型。

这是深度神经网络最简单形式的一个示例仅供说明之用。

在实践中更复杂形式的人工神经网络架构对于心血管成像数据的分析是必要的补充材料中的电子表

超参数是与模型相关的设计选择由机器学习工程师明确设置和调整而不是由模型学习附录中的电子附录

3。

在训练期间调整超参数理论上可以产生完美拟合的模型。

但是这样的模型不太可能在训练集之外的数据上表现良好这种现象称为过度拟合附录中的电子附录

和电子图

10A。

过度拟合会导致模型记住输入数据而不是学习有意义的表示。

就像一个学生记住了测试的答案而不是理解底层概念在新的问题上表现不佳一样对输入数据过度拟合的模型在训练期间未接触的数据上表现不佳附录中的电子附录

和电子图

为了评估性能并监控训练期间的过度拟合必须在验证或开发数据集中评估模型方法是留出一定比例的数据或迭代划分训练数据例如k

2。

由于在训练期间调整了参数和超参数验证数据集中的信息可能会泄漏到训练过程中导致模型过度拟合验证数据本身。

因此在单独的保留测试集最好来自外部来源上评估最终模型性能至关重要模型在整个研究和开发过程中从未接触过该测试集补充中的电子附录

和电子表

3。

如果不这样做可能会导致对性能的估计过于乐观和/或无法识别过度拟合无关特征称为快捷方式例如扫描仪元数据或制造商徽标的模型。

21,22

CVI

深度学习模型的设计、实施和评估的详细指南已作为心血管成像相关机器学习评估

(PRIME)

中模型与数据拟合后将在独立的内部或外部验证集上进行验证。

相比之下深度学习中的“验证”或开发数据集并不等同于统计风险预测文献中使用的验证队列并且对验证模型没有任何作用。

相反此数据集分区的目的是在训练过程中调整超参数时评估性能和过度拟合。

随着参数和超参数在训练过程中进行调整验证数据集中的信息可能会泄漏到此过程中并且模型可能会开始过度拟合验证数据本身。

因此至关重要的是在训练过程中模型未接触的第三个数据集在机器学习文献中称为测试集被放在一边以便在所有训练完成后并且仅在之后评估最终模型性能。

CVI

中不同模式的显著努力的调查并非详尽无遗而是突出先前讨论过的概念的实际例子

超声心动图

在超声心动图中大多数信息都编码在视频片段中并且不同视图没有像其他成像方式那样明确标记。

尽管超声可以提供比

CCT

更好的时间和空间分辨率但超声心动图图像的信噪比较低并且根据声学窗口的不同质量可能会出现显著变化。

因此先前的努力最初是解决识别超声心动图视图

9,24,26

迄今为止超声心动图领域的大多数深度学习研究都集中在心脏分割或心室结构和功能的评估上而不是识别病理或预测风险尽管也有少数例外。

Zhang

来分割心脏结构、计算心腔容积和功能信息并对肥厚性心肌病、心脏淀粉样变性和肺动脉高压进行分类。

其他人提出了以高通量方式识别左心室肥大或心脏淀粉样变性的

Ouyang

CNN用于对超声心动图视频片段中的左心室射血分数进行逐次评估其性能超过了之前发表的结果尤其是在因心律失常而导致心跳间变异显著的患者中。

这是

方法的一个潜在优势它能够在超声医师或超声心动图医师所需时间的一小部分内完成多心搏分析同时通过减少观察者内和观察者之间的差异来提高可靠性附录中的图

方法处理超声心动图数据的复杂性和精密性有所增加但仍有许多尚未充分探索的领域虽然

但很少有研究人员将

2.心血管成像领域的深度学习研究示例缩写2-D二维3-D三维A2C心尖双腔

A4C心尖四腔AUC受试者工作特征曲线下面积CAC冠状动脉钙化CAD冠状动脉疾病CCT心脏计算机断层扫描CCTA冠状动脉计算机断层血管造影

CFD计算流体动力学CNN卷积神经网络

HCM肥厚性心肌病HF心力衰竭ICC组内相关系数IVd舒张期心室间厚度LA左心房

LGE晚期钆增强LV左心室LVEDV左心室舒张末期容积LVEF左心室射血分数LVH左心室肥大MACE重大不良心脏事件MAD中位绝对偏差MAE平均绝对误差MI心肌梗死ML机器学习MRI磁共振成像PET正电子发射断层扫描PWd舒张后壁厚度R相关系数RA右心房RV右心室RVEDV右心室舒张末期容积SAX短轴SPECT单光子发射计算机断层扫描SSIM结构相似指数TGA大动脉转位。

心脏磁共振成像

通常可以通过考虑数据的三维结构体素来获得更好的结果。

此外CMR

CCT

模式都要多重点是心腔分割以进行结构和功能评估。

这可能是由于有高质量的公共

CMR

数据集和流行的在线数据科学竞赛。

迄今为止最大的分割工作之一使用了来自英国生物库的近

5000

图上的区域壁运动模式描绘心肌疤痕无需钆造影这项技术称为虚拟原生增强。

这突出了

CMR的标签进行训练可以产生具有类似性能的系统该系统可能更安全、更易于访问、更高效附录中的图

迄今为止CCT

血管造影的血流储备分数估计与视觉评估相比该算法显著提高了功能性阻塞性冠状动脉疾病的评估每条血管的准确率分别为

58%

进行心包内分割以识别心外膜脂肪组织体积这对冠状动脉钙化评分在预测主要不良心血管事件方面具有补充作用。

深度学习在

中最具创新性的用途可能是用于重建、伪影衰减或图像去噪的生成建模应用。

Wolterink

使用生成对抗网络对低剂量

倍。

这突出了一个重要原则虽然训练深度学习模型需要大量计算但使用训练后的模型进行推理可能比传统的基于规则的算法更快附录中的图

心脏核成像

核成像数据的分辨率相对其他成像方式较低通常需要进行大量预处理例如生成灌注极点图才能进行临床解释。

Betancur

CNN用于从原始、停电和定量极点图中确定每位患者和每条血管的缺血情况。

与标准总灌注缺损相比DL

0.80

0.78。

这是一个重要的观察结果当使用手动设计的特征特征空间有限为

模型自动从原始单光子发射计算机断层扫描

上市前许可或从头申请针对实质上新颖的平台没有合适的谓词设备获得授权。

例如Caption

Health

算法来指导超声心动图剪辑的获取而不是解释目的是让经验较少的操作员也能获取诊断质量的图像。

5

eTable

值得注意的是很少有系统在临床试验环境中进行前瞻性评估在涵盖目标人群的多样化队列代表的多个临床站点进行评估的系统就更少了。

要使算法被接受用于临床应该在多个机构使用来自多个供应商的图像数据对其进行前瞻性验证以确保其预测的稳健性。

根据最近制定的循证建议SPIRIT-AI

CONSORT-AI

48,49在随机临床试验中进行前瞻性评估、算法透明度和上市后监测是

FDA

批准的应用程序均未获准用于全自动图像解释/分析而是作为具有专家“人工参与”的临床支持系统。

要使深度学习系统适合广泛的临床实施它必须准确、无偏且可推广。

使用深度学习技术实现

CVI

深度学习算法传统上需要大量标记数据集才能产生准确的结果。

管理大型

CVI

模型通常被认为是一个黑匣子很难解释模型如何以及为何得出特定的预测。

如果临床医生不理解推理过程他们不太可能接受

此外当使用

进行表型发现时解释模型输出对于揭示机制和治疗见解至关重要。

可解释的

由于患者群体、成像设备或采集协议的差异在一个机构表现良好的模型可能在外部机构表现不佳这种现象称为数据集转移。

54此外随着患者群体或数据的变化模型性能可能会随着时间的推移而下降这通常称为数据集漂移。

数据集转移的创新解决方案正在涌现包括通过跨机构共享深度学习模型而不是数据进行联合学习

55以及通过生成模型从一个供应商到另一个供应商进行图像到图像的转换

56。

数据集漂移可以通过持续学习或模型更新来应对。

57然而没有什么可以替代在外部、从未见过的数据集中反复验证算法以及持续审核模型性能。

系统性偏见

更令人担忧的是在开发深度学习模型时引入人类隐性偏见的可能性许多机器学习模型的警示性例子导致了系统性歧视。

58-61因此研究人员必须保持警惕确保任何算法都能通过仔细选择数据管理、算法设计和模型评估来得出公平和不带偏见的预测。

人机界面

要使深度学习系统取得成功它应该很好地融入心脏成像仪的工作流程并且应该对深度学习系统有一定程度的理解和信任。

临床医生可能会认为学习型人工智能可能会取代临床推理并对临床工作人员本身构成威胁。

62然而这通常是没有根据的因为大多数人工智能系统旨在增强而不是取代人类的决策。

增强智能的概念得到了文献中的大量例子的支持包括

CVI

中的案例在深度学习系统的帮助下人类的表现可以胜过单独的人类或机器。

63-65

CVI

的深度学习仍处于起步阶段尽管当今临床使用的几种应用显示出改变图像获取、预处理、分析和解释方式的潜力。

一些应用已在临床试验中证明其实用性例如指导新手操作员获取诊断质量的床边心脏超声图像5

减少在

然而大多数已发表的结果都是基于回顾性数据。

仍然迫切需要高质量的证据来证明这些技术的好处大于风险并且可以改善患者的治疗效果、人口健康、成本效益和/或临床医生的工作生活。

68CVI

系统进行严格的前瞻性验证。

只有这样这些技术的临床应用才会变得广泛。

此外深度学习在

中的应用范围可能会扩大。

自动化任务的范式人类可以轻松完成可能会转向解决迄今为止尚未解决的问题例如基于图像的风险预测和用于机制发现的队列高通量表型分析。

此外用于图像重建、去噪、伪影衰减和超分辨率的深度学习的出现是最近的事情这些技术将在未来几年继续发展。

我们还可能会看到更多的深度学习系统使用融合架构来集成多模态成像和非成像数据这些融合架构模仿专家整合来自多个来源的数据的方式。

CVI

可用于从影像报告中提取标签以训练计算机视觉算法或反过来为图像添加标题以自动生成报告。

NLP

还可用作临床医生或患者与影像数据应用程序交互的工具改善心脏成像仪和

系统之间的人机交互。

随着基于深度自注意力网络的大型语言模型称为

transformers69例如

最后虽然深度学习算法可以模拟直觉或“格式塔”来识别结构或功能相关性13,72但我们不应忘记世界是由可定义的物理原理支配的。

结合有关物理原理的领域知识可以提高深度学习算法的性能、效率和通用性。

73此外并非每个问题都需要深度学习解决方案更准确、更有效的方法往往更简单。

伯努利方程通过二次关系明确地将主动脉瓣速度与梯度联系起来。

无需使用百万参数模型通过梯度下降推导出此公式。

CVI

的人工智能未来很可能由混合神经符号算法主导74该算法将深度学习与基于经典规则的编程相结合同时考虑到成像和生理学的底层物理原理

CVI

应用事实上这是本综述的目标对于促进临床医生和工程师之间的合作、推动这些技术在临床实践中的创新和采用至关重要。

引用放射科医生

Curtis

的话深度学习不会取代心血管成像仪但那些使用和理解深度学习技术的人将取代那些不这样做的人