。

然而#xff0c;目前的MIL方法通常基于iid假设#xff0c;忽略了不同实例之间的相关性。

为了解决这个问题#xff0c;作者提出了一个新的框架#xff0c;称为相关性MIL#xff0c;并提供了收敛性的证明。

基于此框架#xff0c;还设计了一…MIL是弱监督分类问题的有力工具。

然而目前的MIL方法通常基于iid假设忽略了不同实例之间的相关性。

为了解决这个问题作者提出了一个新的框架称为相关性MIL并提供了收敛性的证明。

基于此框架还设计了一个基于Transformer的MIL

(TransMIL)。

TransMIL可以有效地处理不平衡/平衡和二元/多分类具有良好的可视化和可解释性。

在CAMELYON16数据集上二元肿瘤分类的测试AUC高达93.09%。

在TCGANSCLC和TCGA-RCC数据集上癌症亚型分类的AUC分别高达96.03%和98.82%。

来自TransMIL:

WSI将活检切片上的组织转换成完全保留原始组织结构的十亿像素图像。

然而WSI中基于深度学习的活检诊断由于像素空间庞大导致缺乏像素级标注。

为了解决这个问题通常采用MIL将诊断分析作为一个弱监督学习问题。

在基于深度学习的MIL中一个简单的想法是对CNN提取的instance特征嵌入进行pooling操作。

Ilse等人提出了一种基于注意力的聚合算子通过可训练的注意力为每个实例提供额外的贡献信息。

此外Li将非局部注意力引入了MIL问题。

通过计算得分最高的实例与其他实例之间的相似度赋予每个实例不同的注意力权重从而得到可解释的注意力图。

然而所有这些方法都基于这样的假设每个bag中的所有实例都是独立且同分布的。

虽然在许多任务中取得了一些改进但在许多情况下这种假设并不完全有效。

实际上在做出诊断决定时病理学家通常会同时考虑单个区域周围的环境信息和不同区域之间的相关信息。

因此在MIL诊断中考虑不同instance之间的相关性是可取的。

目前Transformer由于具有较强的描述序列中不同token之间的相关性以及对远距离信息建模的能力被广泛应用于视觉任务中。

如图1所示Transformer采用自注意力机制可以关注序列内每个token之间的两两相关性。

然而传统的Transformer受到其计算复杂性的限制只能处理较短的序列(例如小于1000或512)。

因此它不适合WSI等大尺寸图像。

图1决策过程图示。

MIL注意力机制遵循iid假设。

自注意机制属于相关性MIL。

value

\left\{x_{i,1},x_{i,2},...,x_{i,n}\right\}

i1,..,b

\left\{y_{i,1},y_{i,2},...,y_{i,n}\right\}

{yi,1​,yi,2​,...,yi,n​}bag标签是已知的并且与实例标签有联系

考虑实例相关性可以具有更小的信息熵从而减少不确定性为MIL带来更多有效信息。

TransMIL与过去方法的主要区别如图2

图2不同pooling矩阵

P∈R5×5是对应的pooling矩阵其中对角线内的值表示instance自身的注意力权重其余值表示不同instance之间的相关性。

b,c,d

P是对角矩阵。

在b中第一个实例是由Max-pooling算子选择的所以在对角线位置只有一个非零值。

在c中由于Mean-pooling运算符对角线内的所有值都是相同的。

在d中由于引入的是bypass注意力对角线内的值可能会发生变化。

但其余位置为0独立同分布假设。

e服从相关性假设因此在非对角线位置存在非零值表示不同实例之间存在相关性。

Transformer使用自注意力机制对序列中所有令牌之间的交互进行建模位置信息的添加进一步增加了顺序信息。

因此将Transformer引入相关性MIL问题是合理的其中函数

P使用自注意力进行信息聚合。

为了说明这一点进一步给出一个正式的定义。

给定一个bag集合

X→T→Y即从bag空间到Transformer空间再到标签空间。

\mathbb{X}

X→T的映射作者设计了一个包含两个Transformer层和一个位置编码层的TPT模块其中Transformer层用于聚合形态信息PPEG

(Pyramid

(TransMIL)的Transformer的概述如图3所示。

图3每个WSI被裁剪成patch(背景被丢弃)并被ResNet50嵌入到特征向量中。

然后用TPT模块对序列进行处理:1)序列的平方;2)序列相关性建模;3)条件位置编码与局部信息融合;4)深度特征聚合;5)

\mathbb{Y}

序列来自每个WSI中的特征嵌入。

TPT模块的处理步骤如算法2所示其中MSA表示多头自注意力MLP表示多层感知机LN表示

Layer