2N3.

这两个工作都是无监督去噪的重要开山之作本文先对其进行简单总结然后引出一个变体HQ-SSL2019

本系列会对近一两年的顶会顶刊无监督图像恢复主要是去噪工作、时间有点久远但是非常经典的无监督图像恢复工作进行学习总结。

欢迎大家评论交流、关注、批评。

N2N

相信大家对这句话不算陌生同一场景下的两次含噪声的观测noisy

x_i

yi​是同一场景下的两次观测第三不同次的含噪声的观测之间噪声相互独立。

image表示为如下形式

即含噪声的图片是由信号和噪声想加而成这样不严谨因为噪声未必是加性噪声但是此处为了方便我们可以这样阐述。

我们可以将

x_i

yi​两张图片都表示为信号噪声的形式再用前文的损失函数即网络尝试学会将

x_i

yni​毫无关联但由于这是同一场景下的两次观测所以两者中信号的部分都用

s_i

f_\***ta(x_i)f_\***ta(s_ixn_i)→s_iyn_i

xn_i

yni​是不可能的。

此时用数学语言表述网络的输出可以表示为如下形式

随机噪声

f_\***ta(x_i)f_\***ta(s_ixn_i)→s_i随机噪声

随机→随机

随机→E(随机)的映射。

由于噪声零均值这一假设上式可以进一步写为

随机噪声

f_\***ta(x_i)f_\***ta(s_ixn_i)→E(s_i随机噪声)s_iE(随机噪声)s_i

fθ​(xi​)fθ​(si​xni​)→E(si​随机噪声)si​E(随机噪声)si​

所以只要满足噪声零均值假设、两次观测x和y在同一场景下、两次观测的噪声相互独立那么就可以通过让网络学习从x映射到y的方式学会去噪。

作者亦通过实验证明了有效性。

N2V——盲点网络BSNsBlind

observation组成的pair实际使用的时候两次不同的观测很难是相同场景的。

比如医学图像两次拍摄的时间不一样也许器官在位置上发生了细微的变化这就不能叫做严格的相同场景。

image就完成训练呢当然可以其实N2N之后涌现了Neighbor2Neighbor、N2V这样优秀的工作这些都可以不必依赖于noisy

image

image就能够完成训练。

Neighbor2Neighbor是对一张noisy

image进行采样得到pair然后采用N2N的方式进行训练并通过loss消除location

gapN2V则完全采用了和N2N不一样的思路接下来我们主要介绍一下N2V因为它是BSNs的开创者to

best

这是N2V论文中的图在有监督学习中给网络输入Input获得Prediction通过让Prediction接近GT就能够让网络学会去噪。

如果是无监督那么这个Label是不存在的。

如上图左侧a由于Prediction最终要接近Input所以网络会学习恒等映射。

但是我们的目标就是中single

noisy

image完成训练既没有GT也没有相同场景下的另一个噪声观测实验要怎么做呢

我们可以选择如上图b的做法对比图a的感受野我们将b中的感受野的中心部分挖掉一个像素然后将剩余的部分作为Input我们记为

Input_{blind}

Inputblind​。

由于网络看不到Input的中心像素点我们称这个像素点为Blind

Spot也就是盲点。

所有存在盲点的方法我们都可以归类为Blind

Spot

Networks也就是BSNs。

我们将没有挖掉中心像素的Input记为

Input_{total}

简单说一下我们只需要对Input做一件事——挖掉它的中心像素然后扔给网络。

网络的输出和Input之间的差距作为loss就能让网络学会去噪。

但是这一切是有前提的N2V有如下假设

我们依旧将像素视为信号噪声

不同像素位置信号是相互有关联的不同像素位置噪声是相互没有关联的在一些文章中称为噪声独立假设噪声的均值为0。

网络可以看到除了中心像素以外的全部像素包括它们的信号和噪声。

网络实际学习的事情就是如何根据周围的像素点推测出中心像素点。

由于不同像素位置的信号互有关联比如你鼻孔边缘像素的附近可能是鼻屎鼻子像素的附近可能有黑头所以通过周围像素的信号可能可以推测出中心像素的信号但是依据噪声独立假设无法通过周围像素的噪声推测出中心像素的噪声。

所以将网络输出的中心像素

x_{pre}

x_{pre}-x_{in}s_{pre}n_{pre}-(s_{in}n_{in})s_{pre}-s_{in}(n_{pre}-n_{in})

xpre​−xin​spre​npre​−(sin​nin​)spre​−sin​(npre​−nin​)

s和n分别表示信号和噪声。

为了表述方便上式直接用了减法。

根据在N2N部分的讲解相信你已经猜到了网络的输出会是如下形式

随机噪声

x_{pre}s_{pre}n_{pre}→E(s_{in}随机噪声)s_{in}E(随机噪声)

xpre​spre​npre​→E(sin​随机噪声)sin​E(随机噪声)

根据噪声零均值假设我们有

上文所述我们将Input中心像素点挖掉并让网络的输出和完整的Input做loss。

可是这样会导致每次只有一个像素影响训练过程。

此部分我们简单讲下N2V原文是如何训练模型的。

\times

64×64大小的patch记为x。

在x中随机选取N个点对每个点p都随机用一个点的像素替换它具体地在以p为中心、以网络感受野为大小的区域如上图b用该区域内的一个随机像素蓝色替换中心像素红色。

这样x中就被创造了N个盲点将这样的x记为

x_{blind}

xblind​输入到网络获得输出记为y。

我们将x中N个点和y中对应位置的N个点做loss。

这样输入一个

\times

64×64的patch做训练一次就能够计算N个点对应的梯度。

注意采样N个点的过程中采用了stratified

sampling以避免clustering这个stratified

HQ-SSL——认为N2V效率不够高

Denoising作者认为N2V存在的问题是N2V将输入的一部分pixel进行屏蔽也只有这一部分pixel才能对loss进行贡献作者认为这样会相对降低训练效率。

本文本质上还是盲点网络派系BSNs的思想。

在4.1中我们先阐述HQ-SSL的架构以及作者认为他们比N2V更优的原因并在4.2中阐述此架构的实际实现。

在4.3中简单回顾本工作中盲点思想的体现。

最后在4.4讲述一些公式阐明本工作如何利用所设计的架构进行训练和去噪。

4.1.

3×3大小的卷积。

注意输入和输出的对应关系输出像素是输入对应感受野的中心位置。

这就意味着网络推测一个像素实际上用的是所有相邻位置自身位置的像素。

在N2V中我们已经见识了盲点的思想即像素的推测靠的是所有相邻位置的像素但不包含自身位置的像素。

如果将这种思想转换为卷积操作姑且可以认为等价于下图的形式

我用蓝色表示这个像素点是不可见的也就是说卷积操作是无法看见中心像素点的。

但是要求这样的计算能够推测中心位置的像素。

这就是HQ-SSL的中心思想不过这个工作并没有按照上图那样操作它将卷积操作改造成了如下的方式

HQ-SSL将卷积操作分为了四个方向上图对应的是其中一种方向——输出像素取决于对应输入像素的上方相邻像素。

如果算上所有四个方向那么输出像素就取决于对应输入像素的上方、左方、下方、右方的若干相邻像素。

⚠️注意作者的思路是N2V工作中的盲点本质上是让模型根据周围的像素点推测中心像素点那么我们可以改造卷积操作让每一次卷积运算都只能看见中心位置像素的若干相邻像素。

平移补0裁剪

绿色表示补零操作红色叉叉表示裁剪。

可以看到如上图操作之后1和7的对应位置关系等价于上文所述HQ-SSL对卷积操作的改进方式

注意上述内容是根据作者提供的源代码获知如果读者需要使用HQ-SSL可以直接使用官方提供的代码。

2023

CVPR有一篇工作引用了HQ-SSL其官方代码和HQ-SSL的代码在卷积操作上是一致的。

之所以写这段话是因为HQ-SSL个人认为文章的关键段落较为晦涩看不懂的读者朋友可以考虑直接看官方的代码写的还是很易懂的。

⚠️注意上述内容的补零和裁剪可以视为平移上图仅平移了1个像素是因为卷积核大小是

\times

2×2区域内的四个像素分别将和对应输入的同位置区域的四个像素相关联。

作者针对下采样才用了和对卷积一样的改进方案——

平移裁剪

绿色方框表示补0红色叉叉表示裁剪。

我们将1和4放到下图并用不同的颜色这样可以直观理解

通过上图你可以认为下采样也有一个感受野每个像素的感受野对应于该像素的位置以及该像素位置的上方位置。

和卷积一样下采样也会对应四个方向。

下采样的方向和卷积的方向是一致的。

4.1.3.

N2V是将输入的一部分pixel进行屏蔽只有这部分pixel才能对loss做贡献或者只有这部分pixel才是loss的组成部分。

作者认为这样会降低训练效率所以采用HQ-SSL的设计思想通过对卷积和下采样进行改造可以等价出盲点网络BSN的效果。

而且由于仅仅改变了卷积和下采样所有pixel都是loss的组成部分或者说所有pixel都能对loss做贡献、对训练做贡献。

4.2.

先看上图的上半部分拥有4个branch。

C表示4.1中所讲述的改造后的卷积1表示

\times

1×1的卷积。

绿色的部分表示四个方向的感受野对应四个方向的卷积和下采样。

再看上图的下半部分表示作者实际的实现方式虽然只有一个branch但是通过旋转操作图中的R等价出了四个方向的卷积和下采样。

由于只有一个branch显然网络的参数量被大幅减少。

⭐️如果没有此部分内容我们会根据对N2V的印象认为HQ-SSL的训练方式是将上图右端的预测结果和左边的输入做loss并以此训练。

在测试阶段则是直接将noisy

Self-supervised

networks作者对训练和测试过程进行了阐述。

摘录网上博客对此部分的分析我没有深究这地方

具体内容我不太感兴趣所以不深究了。

我阅读这篇论文主要目的是学习它的盲点思想。

后续也有2023

Adaptive

Denoising采用了HQ-SSL的盲点网络的设计下一篇博客我将讲述它届时我会将链接放在这里。