2.超分辨率(SR)算法在可行解中寻找一个在保真度和感知质量之间取得平衡的“良好”解。

3.现有的方法重建高频细节时会产生伪影和幻觉#xff0c;模型区分图像细节与伪影仍是难题。

0.2.

2.超分辨率(SR)算法在可行解中寻找一个在保真度和感知质量之间取得平衡的“良好”解。

3.现有的方法重建高频细节时会产生伪影和幻觉模型区分图像细节与伪影仍是难题。

0.2.

本文表明使用基于小波域损失函数的生成对抗网络(GAN)超分辨率模型进行训练可以更好地学习到真正的高频细节与伪影的特征相比之下RGB

损失函数

颜色空间是最常见的用于表示彩色图像的模型其中每个像素由红、绿、蓝三个通道的值来描述。

包含L2损失函数均方误差MSE、L1损失函数平均绝对误差MAE、感知损失傅里叶空间

傅里叶变换将图像从空域即

像素空间转换到频域其中低频部分表示图像的大致轮廓等基本信息高频部分表示图像的细节信息。

在频率域中图像的低频部分主要包含了图像的轮廓和基本形状等信息高频部分则包含了图像的细节信息。

通过在傅里叶空间定义损失函数可以更好地控制重建图像的频率成分。

公式为

和分别是原始图像和重建图像的傅里叶变换其中是频率域中的采样点数。

小波域

小波变换可以将图像分解为不同尺度和方向的小波系数这些系数能够更好地描述图像的局部特征。

在超分辨率重构中不同尺度的小波系数对应着图像不同层次的细节。

大尺度的小波系数主要反映图像的轮廓等低频信息小尺度的小波系数则反映图像的细节等高频信息。

通过在小波域定义损失函数可以更有针对性地恢复图像的细节。

公式为

图像包含了红、绿、蓝三个颜色通道的信息是我们常见的图像表示形式。

然而在本文中作者提出仅对高频小波子带进行判别器的训练。

这样训练的优势是高频小波子带能够更突出地反映图像中的细节和边缘等信息这些细节对于判断图像的真实性和质量至关重要。

例如在一幅包含人物和背景的图像中人物的轮廓、发丝以及背景中的树叶纹理等细节信息在高频小波子带中会更加明显。

通过在高频小波子带中训练判别器它可以更专注于这些细节特征从而更精准地判断生成的细节是真实的还是伪造的有效地区分图像中的真实细节和伪影更好地控制细节与幻影伪影。

0.2.3.

SWT可以将图像分解为不同尺度和方向的子带每个子带都包含了图像在特定尺度和方向上的信息。

通过计算生成图像的小波子带与真实高分辨率图像的小波子带之间的差异保真度损失并将这些差异反向传播给生成器使生成器学习如何调整生成的图像以减小这种差异。

这种训练方式使得生成器在生成图像时能够更加关注图像结构的尺度和方向信息。

例如在生成建筑物的图像时生成器可以根据不同小波子带中的信息准确地还原出建筑物的轮廓大尺度结构以及墙壁上的砖块纹理小尺度结构并且保证这些结构在不同方向上的正确性如水平和垂直方向的线条等。

这样生成的超分辨率图像在结构和细节上更加逼真与真实图像的特征更加接近。

0.3.

大量的实验结果表明根据多个客观指标和视觉评估我们的模型实现了更好的感知失真权衡

1.1.

后来空间注意力、通道注意力和Transformer网络在峰值信噪比PSNR和结构相似度SSIM方面表现出了令人印象深刻的性能。

然而平均误差最小化倾向于所有可行SR输出的概率加权平均因此仅基于保真度损失进行优化的模型会产生过于平滑的图像缺乏HF细节。

1.2.

为了感知质量更好的结果提出了生成超分辨率模型如生成对抗网络GANs

流模型和扩散模型。

生成超分辨率模型旨在从类似于真实图像的分布中采样预测的超分辨率图像。

流和扩散模型在某种意义上执行随机采样即单个模型可以生成许多样本。

因此,它们对每个样本在学习细节与伪影之间的控制较少

在本文中我们专注于条件生成对抗网络超分辨率模型即单个训练模型生成单个超分辨率图像样本。

生成对抗网络模型通过像素级保真度和对抗(判别器)损失的加权和进行训练。

此外还提出了额外的感知损失如VGG损失纹理匹配损失和内容损失以强制超分辨率和GT

1.3.

感知失真权衡假设指出存在一个界限超过这个界限任何感知质量的提升(通过无参考度量来衡量)都会以失真的增加(通过全参考度量来衡量)

个定义明确的优化问题,主要是因为没有一种定量的感知图像质量度量与人类偏好有良好的相关性。

认识到这

一点最近的超分辨率挑战要求超分辨率重建在正向退化模型下与低分辨率观测结果一致(也称为可行解),

并对视觉质量进行人类评估。

然而可行解集合的大小非常庞大即使对于人类来说确定哪些可行解包含真实的图像细节哪些包含伪影或幻觉也是极其困难的。

1.5.

GAN-SR利用小波域损失来抑制幻影和伪影以实现更好的峰值信噪比(PD)权衡。

1.5.1.

分解后的子带的损失加权组合再比较它们之间的差异这里采用的不是传统的

RGB

将的高频子带连接后输入判别器得到一个结果同时将的高频子带连接后输入判别器得到另一个结果然后根据这两个结果计算对立损失。

1.5.4.

DWT过程中子采样是指在对图像进行分解时在某个方向通常是水平或垂直方向上每隔一定数量的像素点选取一个像素点从而降低图像在该方向上的分辨率。

例如在水平方向上进行

倍子采样就是每隔一个像素选取一个像素这样图像的宽度就会变为原来的一半。

子采样的目的是减少数据量加快计算速度但同时也会损失一定的信息。

SWT

在分解图像时不进行子采样这使得它能够提供低频LF和高频HF子带的独特局部特征。

因为没有子采样带来的信息丢失SWT

分解后的子带能够更准确地反映图像在不同尺度和方向上的特征图像的尺度和频率信息与空间位置内在地耦合在一起。

例如对于一幅包含精细纹理和复杂结构的图像SWT

可以完整地保留这些细节在各个子带中的信息使得模型在处理图像时能够更好地捕捉到图像的局部特征从而在定义保真损失和对立损失时能够更精准地控制图像重建过程有助于抑制幻影和伪影实现更好的峰值信噪比权衡提高超分辨率图像的质量。

1.6.

我们提出了一种小波域保真度损失(不同小波子带的损失的加权组合而非传统的RGB域损失)

SWT

子带中能更好地观察到图像局部结构的尺度和方向对局部结构的尺度和方向更敏感

我们提议在对抗训练中使用

域判别器相比在高频小波子带上训练判别器能够更好地控制优化景观将失真与真实的图像细节分离出来

RGB

WGSR框架通过以下方式抑制高频幻影和失真以实现更好的PD平衡

仅在高频

子带上训练判别器引入小波域失真损失来引导生成器选择更合适的感知损失,使其与我们的优化目标更好地耦合

3.1.

子带的分解级别决定了分别在水平、垂直和对角方向传输详细信息的高频子带的数量。

SWT

而不是经典的离散小波变换DWT。

SWT与DWT的主要区别在于SWT去除了

DWT

的频率被改变了那整个图像就可能变得不像原来的样子也就是失真了。

所以要保证

空间内容能对应得上的高频部分比如一些边缘、纹理等细节也得重建好这样图像看起来才真实。

ESRGAN

这个方法来说它在训练的时候没有小波域损失的引导就像走路没有地图一样。

它生成的图像有很明显的夸大的伪影就好像图像上多了一些不该有的东西。

特别是

子带因为图像里结构的方向等原因这个子带里有更多的幻影也就是看起来不真实的东西它的失真程度更高在和其他子带比较时峰值信噪比PSNR分数最低。

这就说明这个区域HL

RGB

图像里去找这些问题并改进对判别器网络来说太难了它根本发现不了图像里这些不自然的伪影。

WGSR

方法就不一样了。

我们通过只把高频HF子带输入到判别器网络里而不是整个

RGB

图像这样就能更容易地把图像的细节和那些不好的伪影分开。

经过这样的优化不管是在各个子带还是最后得到的超分辨率SR图像都有很大的进步图像变得非常逼真里面都是真实的图像细节而不是那些假的幻影和伪影。

所以说SWT

引导的对抗训练是很有优势的可以让我们的模型生成更好的超分辨率图像。

3.2.

引导的保真度和对抗性以及像素域感知损失进行联合训练。

该框架具有通用性任何生成器和任何判别器模型都可以轻松地插入到这个框架中

3.2.1.

域判别器旨在判断生成图像的高频细节与真实高频细节的相似程度通过特定的训练流程和架构使其专注于评估水平、垂直和对角方向的细节以稳定训练并有效防止幻觉与消除失真。

判别器任务

“裁判”它的工作是判断生成图像中的高频细节包括低频、高频和中频子带中的高频部分和真实图像的高频细节相比有多像真的。

它只关注图像在水平、垂直和对角方向上的细节而不是直接看整个

RGB

图像。

因为这些方向的细节对于控制图像中真正的细节和那些不好的幻影、伪影特别重要。

比如说一张照片里建筑物的边缘水平和垂直方向细节、树叶的脉络对角方向细节等判别器要能判断生成图像里这些地方和真实图像的差别。

子带信息与训练简化

低频LL、高频水平LH、高频垂直HL和高频对角HH子带传递的是稀疏信息。

这就好比给判别器提供了一份简化的

“线索清单”让它的任务变得更容易训练也能更稳定。

例如在一幅风景图像中LL

子带则体现了对角方向的细节如山坡的斜边、建筑物的棱角等。

这些信息不像完整的

RGB

图像那么复杂判别器可以更轻松地根据这些子带信息来判断图像的好坏。

训练流程

分解这样就能得到我们需要的低频、高频水平、高频垂直和高频对角子带。

在训练判别器的时候只用

LH、HL、HH

“判决结果”告诉我们生成图像的高频子带和真实图像的高频子带是否相似。

通过这样的架构判别器能够把注意力集中在生成图像的高频细节上尤其是那些能清楚区分伪造细节和真实细节的地方从而防止图像中出现幻觉看到不存在的东西并消除失真让图像看起来更真实。

3.2.2.

一提的是我们提出的具有小波域损失和小波变换域判别器的训练方案可以与任何生成器网络架构相结合。

3.3.

域保真损失并带有相应的调优参数。

其计算方式是先对生成图像和真实图像进行

SWT

分解然后计算它们在各个子带上的保真损失乘以对应的缩放因子后求和再对小批量数据求平均。

例如对于图像中的线条如窗户边缘、建筑物轮廓等和细节如树叶纹理、字母形状等通过调整不同子带的权重可以控制生成图像在这些区域的高频细节避免出现幻影或伪影使生成图像更接近真实图像从而调整保真度和感知质量的平衡。

对抗损失

域的细节子带连接后的情况来确定损失。

具体来说公式中的两项分别计算了真实图像和生成图像经过判别器后的对数损失两者相加得到对抗损失。

判别器的任务是区分真实和生成的细节子带生成器则要尽量

“欺骗”

判别器使生成的细节子带被判别为真实的从而促使生成器生成更逼真的高频细节。

生成器总体损失

感知损失用于衡量图像质量评估指标(如DISTS)所提供的特征空间中的误差。

通过调整这些损失项的权重可以灵活地调整生成的超分辨率图像的保真度和感知质量之间的平衡。

例如如果希望生成的图像更注重细节保真度可以增加的权重如果更看重感知质量可以适当增加的权重。

在实验中通过经验搜索确定了各参数的最佳值如,,,和,以实现最佳的感知失真权衡。

判别器损失

判别器的损失计算方式与对抗损失相关其输入仅为高频细节子带。

它同样通过比较真实图像和生成图像经过判别器后的对数损失来确定目的是使判别器能够准确地区分真实和生成的高频细节子带从而引导生成器生成更逼真的图像减少伪影和失真。

4.1.

的小批量中随机裁剪像素的RGB块并提供给生成器。

然后在对生成图像的

ADAM

超分辨率任务所提出的基于小波分解的优化目标与其他现有最佳方法的定量比较。

最佳和次佳结果分别以粗体和下划线标记。

定性比较

haar、db7、db19、sym7、sym19、bior2.6、bior4.4

等小波滤波器对

和定量感知分数不是视觉失真的良好评估指标。

WGSR在抑制视觉失真方面是有效的。

然

2.确定不同

域损失项的最佳权重是困难的因为在搜索最佳权重过程中发现改变不同子带保真损失权重会影响保真分数和感知质量。

如降低

子带保真项权重会降低感知质量同时较高的或虽能提升感知质量但会牺牲保真度。

WGSR一种新的基于生成对抗网络GAN的超分辨率SR模型训练方法该方法利用了小波域损失的加权组合通过根据不同子带中图像特征的尺度和方向控制保真度和对抗损失的强度我们的模型能够以高重建精度学习真实的图像细节同时避免高频伪影和幻觉从而实现了更好的PD权衡。