Products
96SEO 2026-02-19 22:16 13
。
然而#xff0c;最先进的网络计算成本太高#xff0c;无法直接应用于移动设备。
在这项工作中#xff0c;我们提出了一种轻量级、高效的基于神经网络的原…Abstract
近年来基于深度学习的图像去噪方法得到了广泛的研究并在许多公共基准数据集中盛行。
然而最先进的网络计算成本太高无法直接应用于移动设备。
在这项工作中我们提出了一种轻量级、高效的基于神经网络的原始图像降噪器它可以在主流移动设备上流畅运行并产生高质量的降噪结果。
我们的主要见解有两个1通过测量和估计传感器噪声水平在合成传感器特定数据上训练的较小网络可以胜过在一般数据上训练的较大网络
变换消除从而允许小型网络有效地处理各种噪声水平。
我们进行了大量的实验来证明我们方法的效率和准确性。
我们提出的移动友好型降噪模型在高通
近年来智能手机已成为消费者摄影的首选设备。
与单反相机相比由于使用相对低成本的传感器和镜头移动设备拍摄的图像更容易受到较高水平的噪声污染尤其是在弱光场景下。
尽管图像去噪技术已经发展了数十年但在移动设备上从极其嘈杂的图像中恢复高质量图像仍然具有挑战性。
最近基于深度神经网络DNN的去噪方法[36,10,42,21,38,30]取得了巨大的成功并且优于大多数传统方法[43,12,18,39,40]。
然而由于移动设备上可用的计算资源有限直接在移动设备上部署这些重量级
在这项工作中我们提出了一种简单而有效的深度原始图像去噪方法。
它可以在现成的智能手机上高效运行并具有高质量降噪功能。
我们的主要观察结果是特定传感器模型的噪声特性是一致的并且可以以足够的精度进行测量。
通过捕获和建模传感器噪声我们可以生成具有干净和噪声图像对的合成数据集并在其上训练轻量级神经网络。
经过训练的模型对于同一传感器即同一智能手机型号捕获的真实图像仍然非常有效。
此外基于参数传感器噪声模型我们在亮度空间中推导了一种独特的线性变换称为
不变的信号噪声空间中从而允许单个网络处理不同场景中的不同噪声级别。
我们证明这种方法不仅在理论上很优雅而且在实践中比为每个
设置训练单独的模型或在具有不同噪声水平的图像上训练一个大型模型更有效。
一种系统方法用于估计传感器噪声并使用正确构建的合成数据训练特定于传感器的去噪神经网络。
不变的信号噪声空间。
所提出的变换允许在该空间中训练的单个小型网络来处理具有不同噪声水平的图像而不是根据
适合移动设备的网络架构可实现高效的图像去噪。
我们对不同的网络架构和去噪方法进行了深入的分析和比较证明我们的方法具有与最先进的方法兼容的性能并且计算资源显着减少。
据我们所知我们的解决方案是第一个实用的基于深度学习的图像去噪方法在移动设备上具有令人满意的效率和准确性。
在图
中我们展示了由现成的智能手机拍摄的示例图像该智能手机使用我们的低光摄影方法。
与默认的
图像去噪是图像处理和计算机视觉中的一项基本任务。
经典方法通常依赖于使用稀疏图像先验例如非局部均值NLM[6]、稀疏编码[13,28,2]、3D变换域滤波BM3D[12]等[18
考虑到其准确性和鲁棒性通常被认为是领先的方法。
这些方法大多数是针对一般噪声而设计的并且没有利用已知的传感器噪声特性。
它们的算法复杂性通常很高使得在智能手机上全面实施变得困难。
相当的结果。
随着更先进的网络架构的引入取得了进一步的改进产生了大量基于CNN的去噪方法[36,10,21,38,30,37,41,23]。
这些工作主要集中在新颖的网络结构上以提高准确性而没有过多关注它们对移动设备的适应性。
处理之前以原始拜耳格式从传感器读出的图像。
在最近提出的公共原始图像去噪基准数据集[1,8,3]上基于CNN的方法[8,20,17]取得了最好的结果。
然而用干净和嘈杂的图像对构建如此高质量的真实数据集是一项非常乏味的工作。
因此合成用于训练的真实图像噪声的问题也得到了广泛的研究包括高斯-泊松噪声[16,27]、高斯混合模型GMM[44]、相机内过程模拟[25,34]、GAN生成噪声[9]等。
事实证明根据合成数据进行适当训练的网络可以很好地推广到真实数据[42,5]。
移动设备上原始图像去噪的现有最佳实践是捕获并合并多个帧[19,24,31]。
这些方法通常需要准确和快速的图像对齐当场景中存在移动物体时这很难实现。
此外当噪声水平较高时对多个帧进行平均可以减少但不能完全消除噪声从而导致结果不令人满意。
据我们所知我们提出的方法是第一个专为移动设备设计的单帧、基于深度学习的原始图像降噪器。
相关的噪声模型然后描述如何在给定新传感器的情况下估计噪声参数。
我们进一步展示了如何使用所提出的
相机传感器将曝光时间内撞击像素区域的光子转换为数字化亮度图。
如图2所示的光子传输管道所示该过程包含多个阶段每个阶段都会引入特定的噪声。
让我们首先考虑一个没有噪声的理想系统。
在线性相机模型下在每个像素处传感器转换是线性放大
这与之前的工作中广泛研究的泊松高斯噪声模型一致[16,27]。
通过替换
与[15]类似我们在突发模式下捕获一系列静态灰度图的原始图像如图3a所示并根据同一像素位置的一系列亮度值计算E(x)。
接下来如图
在实际应用中相机会根据场景光照自动调整ISO设置因此在训练去噪神经网络时必须考虑不同的噪声水平。
一个简单的解决方案是训练单个网络来覆盖广泛的
设置但随着训练数据中的噪声变化变得相当大它会给网络本身带来额外的负担。
受方差稳定变换
相关变换应用于神经网络的输入和输出以便可以使用归一化数据来训练网络而无需考虑
我们进一步引入了一种适合移动设备的卷积神经网络用于图像去噪如图
图5b描述了网络块的详细结构。
具体来说为了在移动设备上运行我们在所有编码器和解码器阶段使用separable-conv
[11]以降低计算成本并且仅在输入和输出阶段使用普通密集卷积层。
在编码器中我们使用
反卷积的上采样特征图。
每个编码器级的输入通过逐元素相加的方式组合到相应的解码器级中在skip
connect中采用3×3-speconv来匹配通道形状。
最后最后一个卷积层输出添加到输入图像上的残差作为去噪结果。
图像。
在本文中我们使用[8]中提出的黑暗中看到SID数据集的子集作为地面真实干净图像。
II相机拍摄的10秒和30秒长曝光子集并手动剔除那些可见噪声的图像留下214高优质
图像我们可以通过从泊松高斯分布中采样以及从目标传感器测量的估计噪声参数来合成噪声图像。
大小的拜耳补丁。
我们采用[26]中描述的bayer-aug方法随机水平和垂直翻转并确保输入拜耳模式为R-G-G-B顺序。
然后我们将拜耳图像打包为
张量。
我们还随机调整裁剪图像的亮度和对比度以进行数据增强。
然后根据噪声模型合成噪声图像噪声参数为随机选择的
优化器训练网络。
我们采用三角循环学习率调度[35]最大学习率为1e-3循环步长为50×214次迭代基础学习率在4000×214次迭代后线性衰减到1e-5。
批量大小设置为1训练在8000×214次迭代时收敛。
智能手机收集的真实数据集来评估我们的去噪方法。
这款智能手机配备了三个后置摄像头我们使用最常用的主摄像头进行测试。
该相机的传感器为索尼IMX586尺寸为1/248兆像素像素尺寸为0.8微米。
该传感器广泛应用于2019年的多款智能手机中包括OPPO
我们首先使用3.2节中描述的方法测量和估计噪声参数。
我们编写了一个简单的应用程序来使用
和曝光时间设置下我们都会调整光源的亮度以避免曝光过度或不足并将捕获图像的最终值保持在适当的范围内。
4800下的数值-方差曲线其中散点表示平均图像上每个原始值对应的测量方差蓝线绘制了方程6的线性回归结果。
从图中我们可以看出我们的理论噪声模型能够很好地拟合测量结果。
拟合线的斜率是估计的噪声参数
中的蓝线表示图6c分别表示线性和二次拟合曲线这表明我们的理论模型与测量结果吻合良好。
通过很好地拟合ISO-k和ISO-σ2曲线可以轻松计算出任何ISO设置下的噪声参数从而满足合成训练数据和应用k-Sigma变换的要求。
由于我们提出的去噪网络需要针对特定传感器进行训练因此由于传感器的不匹配我们无法直接使用
等公共基准。
因此我们构建了一个测试数据集来评估我们的去噪方法。
图像平均图像可以用作估计的地面实况。
如图7所示我们捕获4个静态场景作为测试图像的内容并为每个场景设置2个亮度条件。
捕捉一个场景时相机位置和场景内容保持固定。
我们在每个场景和亮度下设置了5种曝光组合分别是ISO-800160ms、ISO-160080ms、ISO320040ms、ISO-480030ms和ISO-640020ms。
这些设置共享相同的
和曝光时间乘积值因此拍摄的图像具有相似的亮度但不同的噪点水平。
我们使用峰值信噪比PSNR和结构相似性SSIM来衡量去噪方法的性能。
使用简单的后处理流程在
伽玛校正。
白平衡校正和色彩校正的参数是从RAW图像的元数据中获取的。
去马赛克算法为像素分组PPGgamma值为2.2。
我们首先展示我们的方法与[26]中提出的先前最先进的原始图像去噪方法之间的比较该方法使用
架构之外我们还通过减少通道宽度和层深度来修改网络以适应各种计算复杂性。
我们使用两个不同的数据源训练这些模型SIDD
所示由于我们精确的噪声建模使用我们的合成数据训练的模型大大优于使用
数据集训练的模型。
此外我们在合成数据上训练的移动友好网络实现了与
为了验证我们的数据合成方法的有效性我们使用四个不同的训练数据集来训练我们的去噪网络包括
具有噪声缩放的测试集使用我们的噪声合成方法但缩放噪声参数以故意与目标传感器不匹配
0.9335这为这次比较设定了上限。
使用我们的合成噪声的测试集取得了第二好的结果PSNR
该实验表明我们的噪声模型和合成噪声能够很好地匹配真实输入噪声的特征并且测试结果可以接近上限性能。
不准确的噪声参数即使在过度拟合实验中也会导致明显的性能下降。
设置的两种方法1iso-augmentation在合成训练样本时随机选择
concat-variance[5]中提出的方法其中估计的噪声方差作为
结果如表3所示。
concat-variance策略的PSNR达到了39.65
dB比iso-augmentation策略高了约0.09dB。
这意味着明确的噪声水平信息可以帮助模型获得比盲目去噪更好的结果。
通过提出的
设置。
从表中我们可以看到当测试集的ISO设置与单ISO模型匹配时可以产生有竞争力的去噪结果。
我们基于
我们推出了一款专为移动设备设计的新型原始图像降噪器。
通过准确的传感器噪声估计我们可以利用在特定于传感器的合成数据上训练的轻量级网络该网络可以很好地推广到真实噪声。
我们还提出了
的空间中学习去噪。
这使得网络能够处理各种噪声级别而不会增加网络复杂性。
我们的结果表明所提出的方法可以实现与最先进的方法兼容的性能这些方法通常采用无法直接应用于移动应用的更大的网络。
在应用中我们的方法可以集成到现有的相机管道中并替换其去噪组件。
由于我们的方法可以生成高质量的去噪原始图像因此它为
应用更积极的后处理奠定了坚实的基础。
我们的方法已在2019年发布的多款旗舰手机的夜拍模式中得到应用在移动设备上表现稳定、出色。
未来我们希望探索如何进一步降低所提出方法的计算复杂度以便我们可以将其实时应用于视频流。
此外我们相信探索基于深度学习的原始图像处理方法将是有趣且有前途的这些方法可以改进甚至取代相机的
作为专业的SEO优化服务提供商，我们致力于通过科学、系统的搜索引擎优化策略，帮助企业在百度、Google等搜索引擎中获得更高的排名和流量。我们的服务涵盖网站结构优化、内容优化、技术SEO和链接建设等多个维度。
| 服务项目 | 基础套餐 | 标准套餐 | 高级定制 |
|---|---|---|---|
| 关键词优化数量 | 10-20个核心词 | 30-50个核心词+长尾词 | 80-150个全方位覆盖 |
| 内容优化 | 基础页面优化 | 全站内容优化+每月5篇原创 | 个性化内容策略+每月15篇原创 |
| 技术SEO | 基本技术检查 | 全面技术优化+移动适配 | 深度技术重构+性能优化 |
| 外链建设 | 每月5-10条 | 每月20-30条高质量外链 | 每月50+条多渠道外链 |
| 数据报告 | 月度基础报告 | 双周详细报告+分析 | 每周深度报告+策略调整 |
| 效果保障 | 3-6个月见效 | 2-4个月见效 | 1-3个月快速见效 |
我们的SEO优化服务遵循科学严谨的流程，确保每一步都基于数据分析和行业最佳实践：
全面检测网站技术问题、内容质量、竞争对手情况，制定个性化优化方案。
基于用户搜索意图和商业目标，制定全面的关键词矩阵和布局策略。
解决网站技术问题，优化网站结构，提升页面速度和移动端体验。
创作高质量原创内容，优化现有页面，建立内容更新机制。
获取高质量外部链接，建立品牌在线影响力，提升网站权威度。
持续监控排名、流量和转化数据，根据效果调整优化策略。
基于我们服务的客户数据统计，平均优化效果如下：
我们坚信，真正的SEO优化不仅仅是追求排名，而是通过提供优质内容、优化用户体验、建立网站权威，最终实现可持续的业务增长。我们的目标是与客户建立长期合作关系，共同成长。
Demand feedback
