2021 年 4 月 23 日，星期五

发布人：Google Research 软件工程师 Manfred Ernst 和 Bartlomiej Wronski

我们一直在不断努力改进 Pixel——使其更有用、更强大、更有趣——定期更新，例如最近对相机应用程序的 V8.2 更新。其中一项改进（于 10 月在 Pixel 5 和 Pixel 4a 5G 上推出）是一项“幕后操作”功能，即带包围的 HDR+。此功能通过合并不同曝光时间拍摄的图像来提高图像质量（尤其是在阴影中），从而产生更自然的色彩、改进的细节和纹理并减少噪点。

为什么 HDR 场景难以捕捉？
最初的 HDR+连拍系统是高品质移动摄影背后的引擎，它快速捕捉一系列故意曝光不足的图像，然后以保留各种色调细节的方式组合和渲染它们。但是这个系统有一个限制：像下面这样的高动态范围(HDR)场景在阴影中很嘈杂，因为所有捕获的图像都曝光不足。

由于图像传感器的物理限制以及阴影中的有限信号，捕捉 HDR 场景很困难。我们可以正确地曝光阴影或高光，但不能同时曝光。

摄影师有时会通过两种不同的曝光并将它们组合来解决这些限制。这种称为包围曝光的方法可以实现两全其美，但手动完成很耗时。它在计算摄影中也具有挑战性，因为它需要：

1. 捕捉额外的长曝光帧，同时保持 Pixel 相机的快速、可预测的捕捉体验。
2. 利用长曝光帧，同时避免帧间运动造成的鬼影伪影。

为了避免这些挑战，最初的 HDR+ 系统使用了不同的方法来处理高动态范围场景。

HDR +的局限
所使用的捕获策略HDR +是基于曝光不足，从而避免在亮部的细节损失。虽然这种策略是以阴影中的噪点为代价的，但 HDR+ 通过使用连拍来抵消增加的噪点。

这种方法适用于中等动态范围的场景，但不适用于 HDR 场景。要了解原因，我们需要仔细研究两种类型的噪声如何进入图像。

连拍中
的噪点 一种重要的噪点称为散粒噪点，它仅取决于捕获的总光量——N 帧的总和，每帧曝光时间为 E 秒，其散粒噪点量与曝光的单帧相同N × E 秒。如果这是捕获图像中唯一存在的噪声类型，则连拍与长时间曝光一样有效。不幸的是，每次捕获帧时，传感器都会引入第二种噪声，即读取噪声。读取噪声不取决于捕获的光量，而是取决于所拍摄的帧数——也就是说，每拍摄一帧，都会添加额外的固定数量的读取噪声。

这就是为什么使用连拍来减少总噪声不如简单地进行长时间曝光那么有效：拍摄多帧可以减少散粒噪声的影响，但也会增加读取噪声。尽管读取噪声随着帧数的增加而增加，但仍然可以通过连拍来降低整体噪声，但效率会降低。如果将长时间曝光分解为 N 次较短曝光，则由于额外的读取噪声，最终图像中的信噪比会更低。在这种情况下，要回到单次长时间曝光的信噪比，需要合并 N ²短曝光帧。在下面的例子中，如果一个长曝光被分成 12 个短曝光，我们必须捕捉 144 (12 × 12) 个短帧来匹配阴影中的信噪比！捕获和处理这么多帧将更加耗时——突发捕获和处理可能需要一分钟以上，并导致糟糕的用户体验。取而代之的是，通过包围曝光可以同时捕捉短曝光和长曝光——结合高光保护和降噪。

用包围解决
虽然包围的挑战阻止了原始 HDR+ 系统使用它，但从那时起逐步改进，加上最近的集中努力，使相机应用程序成为可能。首先，将包围添加到 HDR+ 需要重新设计捕获策略。零快门延迟(ZSL)使捕获变得复杂，它支持 Pixel 上的快速捕获体验。使用 ZSL，取景器中显示的帧之前快门按钮是我们用于 HDR+ 连拍合并的帧。对于包围，我们在按下快门后捕获了一个额外的长曝光帧，这在取景器中没有显示。请注意，按下快门后保持相机静止半秒以适应长时间曝光有助于提高图像质量，即使是典型的握手次数也是如此。

对于夜视，捕捉策略不受取景器的限制——因为所有帧都是在取景器停止时按下快门后捕捉到的，这种模式很容易适应捕捉更长的曝光帧。在这种情况下，我们拍摄了三张长时间曝光以进一步降低噪点。

合并算法
合并包围式镜头时，我们选择其中一个短帧作为参考帧，以避免潜在的高光剪切和运动模糊。所有其他帧在合并之前都与此帧对齐。这带来了一个挑战——对于复杂的场景运动或被遮挡的区域，不可能找到完全匹配的区域，在这些情况下，简单的合并算法会产生重影伪影。

为了解决这个问题，我们设计了一种新的空间合并算法，类似于用于Super Res Zoom 的算法，它决定每个像素是否应该合并图像内容。这种消鬼对于具有不同曝光度的帧来说更复杂。长曝光帧具有不同的噪声特性、剪切高光和不同程度的运动模糊，这使得与短曝光参考帧的比较更加困难。此外，在包围式镜头中重影伪像更明显，因为原本会掩盖这些错误的噪声减少了。尽管存在这些挑战，我们的算法对于这些问题与原始 HDR+ 和 Super Res Zoom 一样强大，并且不会产生重影伪像。同时，它合并图像的速度比其前辈快 40%。由于它在摄影流程的早期合并 RAW 图像，因此我们能够实现所有这些优势，同时保持其余处理和标志性 HDR+ 外观不变。此外，

Pixel 4a (5G) 和 Pixel 5 的用户可以在默认相机以及夜视和人像模式中使用带有包围的Pixel HDR+ 包围。对于 Pixel 4 和 4a 的用户，谷歌相机应用支持夜视模式下的包围。无需用户交互即可激活带包围的 HDR+ — 根据场景的动态范围和运动的存在，带包围的 HDR+ 会选择最佳曝光以最大化图像质量（示例）。

致谢
HDR+ with Bracketing 是 Google 多个团队协作的结果。如果没有 Sam Hasinoff、Dillon Sharlet、Kiran Murthy、Julian Iseringhausen、  Mike Milne、Andy Radin、  Nicholas Wilson、Navin Sarma、  Gabriel Nava、Emily To、Sushil Nath、Alexander Schiffhauer、Isaac 的共同努力，这个项目是不可能实现的 Reynolds、Bill Strathearn、Marius Renn、Alex Hong、Jose Ricardo Lima、Bob Hung、Ying Chen Lou、Joy Hsu、Blade Chiu、David Massoud、Jean Hsu、Ellie Yang 和 Marc Levoy。