计、图像去模糊去雨去雾恢复、图像重建

成像原理来源如上也有遮罩等方式的pd生成如图双像素视图可以看到光圈的不同一半这提供了一个深度提示。

然而由于基本的模糊性如果相机的焦距或光圈大小或焦距发生变化不同的场景可能会产生相同的双像素图像。

在a中具有焦距g1的相机在距离Z1处成像聚焦的蓝色点和离焦的橙色点。

通过光圈左半部分折射的光深蓝色和橙色光线到达每个双像素的右半部分反之亦然。

这导致了一个双像素图像其中失焦橙色点被d像素a“DP数据”位移被b像素模糊a”图像”。

在b中不同的焦距和场景深度集产生相同的双像素和RGB图像。

然而如文中所示该场景通过逆深度上的仿射变换与a中的场景相关。

消费者迅速采用。

双像素相机似乎代表了更雄心勃勃的光场相机和传统相机之间的一种有前景的折衷方案——DP相机牺牲了可忽略的空间分辨率来采样光场中的两个角度而真正的单眼相机只采样一个角度Lytro

Illum等光场相机以牺牲显著的空间分辨率为代价采样196个角度。

因此它们在消费类相机和内窥镜等空间受限的应用中得到了更广泛的采用[6]。

消费类硬件的最新发展可能为深度估计的新方法提供机会。

最近通过使用密集的双像素DP传感器图2可以使用一台相机同时捕获两张类似于具有微小基线的立体对的图像图1。

虽然这项技术最初是为相机自动对焦而开发的但双像素图像也可以用来从单个相机中恢复密集的深度图从而消除了对额外硬件、校准或同步的任何需求。

例如Wadhwa等人[55]使用经典的立体技术块匹配和边缘感知平滑从DP数据中恢复深度。

但如图1所示传统立体技术可以生成的深度图的质量是有限的因为DP图像中视差和焦点之间的相互作用可能会导致经典立体匹配技术失败。

现有的基于单眼学习的技术在这方面也表现不佳

Table

YearPubPaperAppRepo2018SIGGRAPHSyn***tic

Depth-of-Field

AutofocusAutofocusDataset2020ECCVDu2Net:

Learning

Focus!DeblurCode2021ICCVDefocus

Map

CNNDeblur2021IEEEAll-Directional

Dual

SensorsCircuits2022WACVImproving

Single-Image

TechnologyCircuits2022ECCVFacial

Depth

DeblurringDeblur2023CVPRSpatio-Focal

Bidirectional

[google-research/dual-pixels](Forked

from

https://github.com/google-research/google-research/tree/master/dual_pixels)

GitHub

RugvedKatole/Learning-Single-Camera-Depth-Estimation-using-Dual-Pixels:

This

YearPubPaperDetail2019ICCVLearning

Single

欢迎AI深度估计、AI重建、AI恢复图像图像去雾去雨去模糊降噪方向的同学一起交流cv君正在打造最大最前沿的AI社区让你在浓厚的学习氛围中进步让你在飞速发展的时代中砥砺前行免费进群交流请私信cv君免费