Medical

医疗图像检索中图像与相关文本的一致性问题如患者有病症但影像可能无明显异常影响图像检索系统准确性。

传统的基于文本的医学图像检索TBMIR方法存在不足如简单关键字方法忽略医学实体含义概念方法则耗时耗空间。

卷积神经网络CNN模型在医疗图像检索尤其是

TBMIR

中的应用效果不佳原因是排名过程复杂且现有模型未充分考虑医学领域特异性。

确定如何将

任务视为图像检索任务而非传统信息检索或自然语言处理NLP任务以充分发挥

CNN

在医疗图像检索中的潜力。

处理医疗图像和文本数据的语义关系克服低级视觉特征与高级语义特征之间的差距提高检索准确性。

创新点

提出一种基于深度匹配模型DMM和医学相关特征MDF的新方法用于重新排序医疗图像有效考虑了

TBMIR

任务特性。

利用统一医学语言系统UMLS构建语义相似性矩阵通过个性化卷积神经网络CNN生成查询和图像元数据的有效表示以实现更准确的匹配。

SemRank

总体流程利用相关性反馈整合图像和文本查询信息将文本查询和图像元数据表示为

UMLS

构建查询和文档的良好表示计算匹配分数最后结合基线分数进行重新排序。

具体步骤

初步步骤将查询和文档表示为

向量再转换为语义相似性矩阵通过与语义相似性矩阵相乘得到新的查询矩阵。

个性化

CNN

函数进行非线性变换。

池化层使用最大池化聚合信息、减少表示并提取全局特征。

全连接层生成最终的查询或文档向量表示。

匹配函数采用基于表示的模型使用余弦相似度计算查询和文档的相关性得分。

SemRank

语义重新排序模型结合

平均准确率MAP用于衡量检索系统在多个查询下的平均性能。

精确率P5、P10分别表示在前

个和前

函数进行非线性变换。

池化层采用最大池化操作。

全连接层生成最终向量表示。

输出层输出查询和文档的相关性得分用于排序。

SemRank

数据集上的实验表明该模型在重排序过程中显著提升了性能与多种现有方法相比具有优势。

剩余挑战和未来工作

Bo1PRF在处理包含大量非临床图像的数据集时表现较好凸显了现有模型对图像多样性处理的不足。

未来工作

CNN

等各个领域都取得了显著的进步。

尽管它们在图像分类任务中取得了成功但它们对医学图像检索尤其是基于文本的医学图像检索

(TBMIR)

任务的潜在影响尚未完全实现。

这可能归因于排名过程的复杂性因为将

TBMIR

任务存在歧义。

为了解决这一差距我们的论文提出了一种使用深度匹配模型

(DMM)

对医学图像进行重新排名的新方法。

这些特征结合了医学术语和成像模式等分类属性。

具体而言我们的

DMM

为查询和图像元数据生成有效的表示从而促进这些表示之间的匹配。

通过使用

MDF基于统一医学语言系统

元词库的语义相似性矩阵和一组考虑了一些排名特征的个性化过滤器我们的深度匹配模型可以有效地将

TBMIR

数据集上进行了实验。

实验结果表明与基线和最先进的方法相比所提出的模型显著提高了图像检索性能。

关键字

医疗信息检索具有一系列与改善医疗保健相关的应用和解决方案。

从根本上讲它包括图像检索、报告检索和对包含图像和文本的数据库的自然语言查询。

然而图像检索是一项具有挑战性的任务因为它可能非常主观需要高级认知处理。

临床上使用的图像检索主要有两种类型。

一种是医疗专业人员清楚地知道他们要寻找什么并使用图像来寻找特定信息。

第二种情况是医疗专业人员有一张图像并希望找到所有相似的图像来帮助诊断或作为教学辅助。

第一步需要手动工作因为标签需要手动附加到图像上通常作为元数据。

当图像存储在大型数据库中如图片存档和通信系统

(PACS)时这可能是一项非常混乱且耗时的任务。

第二步涉及使用图像作为查询进行搜索并使用图像的视觉特征的算法方法尝试检索相似的图像。

随着技术的进步越来越多的人支持转向自动图像注释和基于内容的检索。

CNNMIR

(CBIR)

在医学领域图像通常是一组先前评估过的病例的参考集医生可使用它们来做出正确的决策。

随着医学图像的大量增长领域专家很难在大型医学数据集中找到相关图像。

因此对高效且有效的医学图像检索系统的需求变得迫切

]。

医学图像检索主要有两种方法被广泛使用基于文本和基于内容的检索。

这些方法使用不同的原理来搜索相关图像基于文本的方法依赖于图像的高级语义特征而基于内容的方法依赖于图像的低级视觉特征例如颜色、形状和纹理。

比较这两种方法由于低级视觉特征和高级语义特征之间的差距基于内容的医学图像检索

(CBMIR)

]。

这些方法大多是要么是传统的基于关键词的简单方法忽略了医学实体的含义要么是基于概念的方法既耗时又耗磁盘空间。

根据我们之前的研究

(MDF)对

等多个领域表现出显著的性能提升。

鉴于这些领域的成功它似乎可以有效地用于图像检索。

不幸的是到目前为止CNN

模型并没有对医学图像检索产生显著的积极影响尤其是基于文本的医学图像检索

(TBMIR)

任务并不明显。

事实上传统的信息检索系统可以确定文档与给定查询的相关性然而NLP

系统会推断查询和文档之间的语义关系。

这两个系统在其处理过程中都没有考虑到图像的特殊性。

CNN

模型该模型在检索过程中考虑了图像的特殊性。

在该模型中我们考虑了

Word2Vec

模型考虑的是一般术语而不是特定于任何领域的术语。

由于我们的工作适用于医学图像检索领域我们认为使用医学语义资源如

NLP

深度匹配流程具体如下首先该流程考虑到图像的特殊性将文本查询和图像元数据文档映射到

MDF

之间的语义关系以构建查询和文档的良好表示第三该流程使用提取的关系计算文档与查询的相关性。

NLP

而非信息检索设计的。

实际上它们考虑的是语义匹配而不是相关性匹配。

根据架构这些模型可分为两类

]。

这些模型提取查询和文档之间的关系然后将它们集成到深度神经网络中以创建新的匹配模型。

第二种是注重表示的模型

]。

这些模型应用深度神经网络为查询和文档提取最佳表示然后将它们集成到匹配过程中。

(DMM)

医学图像重新排名新方法。

总体而言我们的模型是一种新的以表示为中心的模型它使用

MDF、UMLS

进行相关性匹配从而构建查询和文档的良好表示。

具体来说我们首先通过提取每对

MDF

组成因此查询/文档的结果表示将是一个相似度矩阵。

使用这些矩阵我们的模型试图为查询和文档找到最佳表示。

事实上它应用了一个个性化的

CNN该

由考虑到一些排名特征的检索过滤器组成。

最后计算出一个总体匹配分数。

我们使用

的有效性。

为了进行比较我们考虑了三种众所周知的传统检索模型。

实证结果表明我们的模型在所有评估指标方面都明显优于基线模型。

DMM

基于文本的索引提供了利用相关报告对医学图像进行索引的可能性从而为访问呈指数级增长的临床图像数据库提供了重要途径。

当前从医学数据库中检索图像的方法要么基于属性图像内容要么基于非图像内容。

基于内容的图像检索

(CBIR)

方法依赖于图像特征例如形状、纹理或在大多数成功情况下先前分配的语义特征来检索相似的图像。

非图像内容检索方法通常处理基于文本的数据库搜索其中将搜索查询提交到图像数据库并将与图像相关的文本与查询进行比较。

但是这两种方法都没有考虑与图像相关的实际医学知识和更传统的组织医疗记录的方法这些方法是通过关键字进行索引的。

基于文本的图像检索大体上建立在检索技术的基础上该技术旨在从大量图像数据库中查找与给定查询相关的所有图像。

在所提出的系统的大多数教科书研究中将特定图像作为条目给出并且用户希望检索与给定查询相关的所有图像。

虽然它实际上是基于文本的图像检索的一个子类型其中实际的基于文本的图像不可用并且受到图像某些基于关键字的注释可用性的限制。

但这种方法已被证明在检索与给定查询相关的图像方面非常有效因此可以推广到以文本为主要形式的检索系统。

从图像中创建“相关特征索引”实际上是创建一个将图像链接到文本的可搜索数据库。

CNN

模型来索引生物医学文章。

在这个特定的模型中输入是一个数字矩阵代表输入文本中包含的各种医学术语。

之后使用隐藏层系统为文档分配类别。

[

的作者开发了另一种可用于检索操作的医学文本分类方法。

它通过使用

CNN

中搜索相关文档并不有效这可能是由于排名过程的复杂性。

此外大多数现有的

CNN

模型在表示查询和文档时没有考虑到医学领域的特殊性。

后者需要使用外部医学资源进行语义提取。

2.2.

]的作者开发了一种检索方法使用基于潜在语义主题描述的剪枝词典来发现各种医学照片之间的区分性特质。

他们通过计算主题词相关性来实现这一点这使他们能够预测单词与基础主题的关系。

潜在主题是根据图像和单词之间的关联学习到的它们用于弥合低级视觉特征和高级语义特征之间的差距。

这是通过弥合低级视觉特征和高级语义特征之间的差距来实现的。

此外在

(1)

通过分析注释之间的相似性来检索相似图像。

对该系统的研究表明在检索医学图像时使用本体是有益的。

尽管在医学图像检索中使用CNN和语义资源的研究很多但缺乏将语义知识融入CNN模型以提升医学图像检索性能的研究。

因此我们提出了一种基于个性化CNN和语义资源MDFUMLS的新型深度匹配模型来提高检索准确率。

众所周知医学图像和相关报告通常不一致。

例如一名椎间盘突出但没有任何症状的患者其

MRI

扫描结果不会出现太多异常但会有很多与其病情相关的单词或短语。

这种不一致是医学图像检索系统面临的一个主要问题因为医学图像检索系统依赖于图像和相关文本“大致相同”。

考虑到这一点以及我们分别对图像和文本进行索引的事实我们需要设计一种方法让文本查询可用于辅助图像查询反之亦然而无需用户在两者之间切换。

我们提出的解决方案利用相关性反馈使用另一种模态整合来自图像和文本查询的信息。

例如如果用户试图找到与“左肺癌”报告相对应的图像当前系统要求他们使用自然语言处理

(NLP)

工具单独索引文本并制定查询然后对图像重复该过程。

这种方法效率低下需要用户在模态之间切换。

相比之下我们的系统使用户能够使用

NLP

工具索引文本或查询随后识别与文本相对应的相关图像。

模态特定技术随后根据图像与文本的相似性对其进行排名。

这种方法自动执行“查找与此报告匹配的图像”的任务从而提高效率和准确性。

MDF

都有积极影响我们选择将它们集成到深度匹配模型中。

在本研究中我们利用统一医学语言系统

(UMLS)

是一个全面的词库和生物医学概念本体旨在链接各种生物医学术语。

通过利用

UMLS我们确保为分析提供强大的语义框架。

此外我们的系统允许用户使用自然语言处理

(NLP)

工具索引文本或查询从而有助于更准确、更有效地检索相关医疗信息。

MDF

MDFF我我们分配从相似度矩阵中提取的相应向量。

因此每个查询/文档都表示为一个矩阵。

深度匹配模型流程

模型构建查询/文档的良好表示该模型考虑了查询和文档之间的交互。

事实上已经提出了几个个性化过滤器并将其集成到这个模型中。

然后应用匹配函数来测量查询和文档表示之间的匹配程度。

更准确地说我们使用余弦相似度函数作为匹配函数。

其次我们将获得的分数与相应的基线分数相结合形成新的重新排序分数。

重新排序过程是通过根据新分数对图像进行排序来实现的。

深度匹配模型初步步骤

射线成像”、“血管造影”、“PET”、“单幅图像中的组合模式”、“冠状动脉造影”、“膀胱造影”、“闪烁显像”、“乳房

线摄影”、“骨密度测定”、“放射治疗”、“泌尿道造影”、“盆腔超声”、“脊髓造影”、“FibroScan”

显微镜检查

“光学显微镜检查”、“电子显微镜检查”、“透射显微镜检查”、“荧光显微镜检查”、“活检”、“粪便显微镜检查”、“毛细血管镜检查”、“滋养层活检”、“细胞学”

可见光摄影“皮肤科”、“皮肤”、“内窥镜检查”、“其他器官”、“阴道镜检查”、“膀胱镜检查”、“宫腔镜检查”

打印信号和波

“脑电图”、“心电图”、“肌电图”、“动态心电图”、“听力测定”、“尿动力学评估”

“模态表格和表格”、“程序列表”、“统计数字”、“图形”、“图表”、“屏幕截图”、“流程图”、“系统概述”、“基因序列”、“色谱”、“凝胶”、“化学结构”、“数学公式”、“非临床照片”、“手绘草图”

V-Spec

“棕色”、“黑色”、“白色”、“红色”、“灰色”、“绿色”、“黄色”、“蓝色”、“彩色”

T-spec

“发现”、“病理学”、“鉴别诊断”、“羊膜穿刺术”、“血象”、“无创产前筛查”、“尿液分析”、“腰椎穿刺”、“精液图”、“三重测试”

C-spec

“组织学”、“骨折”、“癌症”、“良性”、“恶性”、“肿瘤”、“妊娠”、“抗生素谱”

4.2

中文本数据经常被转换成数字向量深度模型可以将其作为输入进行处理。

已经提出了几种用于词嵌入的方法例如

Word2Vec、Glove

和独热编码。

通常这些模型考虑不特定于任何领域的一般术语来推导单词之间的相似性和关系。

由于我们的工作适合医学图像检索领域我们相信如果使用

UMLS

等医学语义资源来转换文本单词检索性能可以得到提高。

我们将查询和文档表示为一组

MetaMap

1的初步步骤所示所有特征都转换为相似度矩阵因此需要执行以下步骤

1:使用MetaMap

]计算每对医学概念之间的相似度。

这些语义相似度得分排列在语义矩阵中。

更准确地说我们使用

Resnik

模型是一个以表征为中心的模型它应该使用深度神经网络为查询和文档构建良好的表征并在相应的表征之间进行匹配。

此外该模型还应考虑到信息检索、NLP

DMM

被转换成概念然后转换成数字向量以供网络的后续层处理。

接下来我们详细介绍了我们的

DMM

由于我们的工作适用于医学图像检索领域我们将查询和文档表示为一组

MDF以便仅保留与医学领域相关的语义信息。

在本文中我们建议将每个查询和文档转换为

MDF

1对于每个查询/文档向量我们根据查询/文档是否包含特征值为每个

MDF

]/∀我∈n∀杰∈n米[我][杰]五[我]其中i表示行索引j表示列索引。

步将结果矩阵

CNN它明确解决了上述三个特殊性。

实际上过滤器旨在提取查询和文档的最佳表示。

在每个表示中网络都会考虑几个检索特征例如

MDF

分数。

此外它在提取文档和查询之间的交互时会考虑每个查询/文档表示的

NLP

∈ℝF∈Rd应用于查询和文档向量以生成不同的特征图。

在我们的模型中查询过滤器与文档过滤器不同。

下面我们提供了有关每个组件文档和查询使用的过滤器的详细信息。

查询过滤器旨在通过考虑文档与查询之间的关系来提取查询的最佳表示。

文档与查询越相关生成的向量值就越高。

(CoQF)其思想包括计算查询

的文档更相关。

事实上两个文档都是具体的但第一个文档更详尽。

为此我们建议用文档和查询中的

MDF

之间的距离的倒数。

在这种情况下两个特征之间的距离由位于它们之间的特征总数表示。

磷问F11∑d我s吨米德F∈德

|−−−−−−−−−−−−−−−−−−√F德问F11米德F∈问∩德

与查询过滤器类似文档过滤器试图提取文档的最佳表示。

它们基于文档和查询之间的关系。

文档与查询的相关性越高得到的向量值就越高。

MDF

大号德。

事实上如果文档的大小适中并且与正在进行的查询具有几个共同的特征那么文档的相关性就会增加。

在哪里|他是一个强大的恶魔|​​​​​​​米德Fdoc我n问你埃r是是文档和查询中的

MDF

的频率而γ表示查询在文档中的组织因子。

γ如果查询在文档中保留其组织则为

1否则为

邻近文档过滤器PDF查询中存在的文档特征越接近其相关性就越高。

1|∈

特征差异文档过滤器FDDF不在查询中的文档MDF数量越少文档的相关性就越高。

|−−−−−−−−−−−−−−−−√F德德F11米德F∈德−问

DMM

∈ℝF∈Rn。

值得注意的是这些过滤器具有与输入矩阵相同的维数表示为n。

此外这些过滤器扫描向量表示并生成输出向量

∈ℝ碳∈R米.

各组件c我矢量C的乘积是通过将矢量V与滤波器F相乘然后将得到的值相加以获得单个值而获得的。

1c我∑钾1n五钾F钾

卷积层之后紧接着一个非线性激活函数称为藝術本身​​​一个升页时长一个该函数被应用于前一层的输出。

通过使用此函数可以将神经元的输入信号转换为输出信号。

在已完成的研究中已经提出了许多不同的激活函数

(ReLU)

中的作者证明此函数有效、简单并且能够降低复杂性以及计算所需的时间。

因此我们决定将此函数作为激活函数包含在我们的模型中。

5.2.3.

池化层的目标是做三件事聚合信息、最小化使用的表示量以及从卷积层的局部特征中获取全局特征。

在文献中可以找到两个函数1平均值包括计算卷积层每个特征图的平均值以考虑输入的所有元素即使其中许多元素的权重较低

]2最大值包括选择卷积层每个特征图的最大值。

执行这两个操作都是为了考虑输入的所有元素。

我们决定在研究中采用最大池化因为它只考虑具有高激活值的神经元最终导致输入数据的高水平语义抽象。

5.2.4.

的说法与信息检索相关的最重大挑战是匹配问题它指的是根据查询确定文档相关性的过程。

如果我们有一个用d表示的文档和一个用q表示的查询那么匹配函数是一种为d和q的表示分配分数的机制

藝術本身​

q对转换为矢量表示的映射函数。

在对该主题进行的研究中已经提出了许多不同的深度匹配模型用于整个匹配过程。

这些轮廓组合在一起时主要分为两类。

以表示为中心的模型是第一个在这个模型中藝術本身​磷时长我是一个复杂的映射函数而F是一个简单的评分函数。

该模型利用深度神经网络来为文档和查询构建准确的表示。

之后它会在这些不同的表示之间进行某种匹配。

第二个是交互重点模型其中φφ是简单映射函数F是复杂评分函数。

我们使用以表征为中心的模型其中藝術本身​磷时长我是一个复杂的表征映射函数而F是一个简单的匹配函数。

由于复杂的藝術本身​磷时长我基于个性化

CNN

的映射函数是我们选择的驱动因素我们采用更基本的基于F的余弦相似度。

文档与查询的相关性的正式定义如下

藝術本身​​​​​​​​​→→)

→。

→∥→∥。

∥​​→∥R年代五问德cos我n埃问→德→问→。

德→问→。

德→

MDF

的结果与基线的结果相结合并考虑所有查询词。

更具体地说我们建议使用最常见的后期融合方法对

SemRank

分数进行建模该方法被称为直接线性组合。

在将两个分数加在一起之前我们首先按以下方式标准化初始分数和

DMM

∗她的母亲是一个​​​​​​最大​她的母亲是一个强大的恶魔​​​​

∗她的母亲​​​​​最大重量​​​​​​​年代埃米R一个n钾scor埃α∗我n我吨我一个升年代cor埃最大限度我n我吨我一个升年代cor埃s1−α∗德米米年代cor埃最大限度德米米年代cor埃

]α∈[0…1]InitialScore

分数。

归一化分数是通过将给定文档d的相关性分数除以整个集合中的最高相关性分数而获得的。

作为基准我们建议使用

BM25

在本节中我们描述实验数据集然后展示我们发布的几个实验以评估我们模型的准确性并将其与一些现有方法进行比较。

7.1.

为了评估我们所建议方法的有效性必须使用包含图像和文本描述以及查询和基本事实的医学图像数据集。

一些来源缺乏评估协议例如

这些数据组中的每幅图像都附有文字描述。

图像可以包含其标题中的文字也可以包含指向

HTML

]。

此外查询是从医师和临床医生建议的一系列主题中选择的以精确模拟参与诊断任务的临床医生的信息需求。

2009

2010

访问。

后面的数据集包含的图像范围更广包括图表、图形和其他非临床图像从而带来更多的视觉变化。

SemRank

集合进行了实验。

这些集合由图像和查询组成。

每幅图像都有一个文本描述。

每个查询都由文本表示和一些示例图像组成。

在我们的工作中我们只使用查询的文本表示和图像的文本描述。

2009

2010

张图像。

事实上这些数据集包含更大的图像多样性还包括图表、图形和其他非临床图像

2013

特征代表医学图像的特定特征但不代表身体部位大脑或病理癌症这是由于旨在查找医学图像的医学文本查询的性质。

ImageCLEF

模型进行的一组实验。

为了实现最佳线性组合我们使用了以下几个值α。

α

表示仅使用

方面优于我们的模型。

这可以通过这些数据集中包含多种图像表格、形状、图形的非临床图像数量较多来解释并且我们的检索模型特定于医学图像。

此外Bo1PRF

准确率增益如表

年的数据集包含临床医生和医师建议的照片这些照片超出了所需的信息。

2011

个百分点)。

这种变化可能是由于伪相关反馈技术该技术添加了出现在前

个关键字。

但是我们的模型仅使用查询特征而没有使用其他术语并显著提高了

2009

是一种有前途的提高医学图像检索性能的技术。

此外这种改进可能与使用医学外部资源的重要性有关MDF

结论和未来工作

模型旨在提高医学图像的排名。

该模型利用了两个外部语义资源医学相关特征

(MDF)

本体来计算这些集之间的语义相似性矩阵。

这些矩阵是构建每个查询和文档的矩阵表示的基础随后将其集成到卷积神经网络

(CNN)

过程中。

生成的输出产生用于在呈现查询时计算文档的新相关性分数的向量。

这种创新方法不仅利用了来自外部资源的语义知识还采用了先进的神经网络技术来提高医学图像检索的准确性和有效性。

2009

中时重新排序过程得到了显著改善。

此外我们还对我们的模型和各种最先进的方法进行了比较分析。

结果显示重新排序过程的准确性显著提高强调了我们提出的方法的有效性。

在我们未来的研究中我们的目标是通过集成涵盖更广泛检索属性的补充过滤器来增强

CNN