2020 年 8 月 3 日，星期一

由软件工程师 Jiawen Chen 和 Sam Hasinoff 发表，Google Research

高动态范围 (HDR) 成像是一种捕捉具有广泛亮度范围（从深阴影到明亮高光）的场景的方法。在 Pixel 手机上，HDR 成像背后的引擎是HDR+ 连拍摄影，它涉及快速连拍故意曝光不足的图像，将它们组合起来，并以一种在整个色调范围内保留细节的方式进行渲染。直到最近，HDR+ 的一个挑战是无法实时计算（即以每秒 30 帧的速度），这导致取景器无法匹配最终结果。例如，取景器中明亮的白色天空在 HDR+ 结果中可能显示为蓝色。

从 Pixel 4 和 4a 开始，我们使用基于机器学习的 HDR+ 近似改进了取景器，我们称之为Live HDR+。这提供了最终结果的实时预览，使 HDR 成像更具可预测性。我们还创建了双曝光控件，将经典的“曝光补偿”滑块概括为两个控件，用于分别调整阴影和高光的再现。Live HDR+ 和双曝光控制共同为 HDR 成像提供实时创意控制。

HDR+ 外观
当用户在 Pixel 相机应用程序中按下快门时，它会捕获 3-15 张曝光不足的图像。这些图像被对齐和合并以减少阴影中的噪声，产生一个 14 位中间“线性 RGB 图像”，其像素值与场景亮度成正比。使 HDR+ 图像具有标志性外观的是该图像的“色调映射”，将范围缩小到 8 位并使其适合显示。

考虑下面的摩托车手的背光照片。虽然线性 RGB 图像包含黑暗摩托车和明亮天空中的细节，但动态范围太高而无法看到。揭示更多细节的最简单方法是应用“全局曲线”，将具有特定亮度的所有像素重新映射到某个新值。然而，对于阴影和高光都有细节的 HDR 场景，没有一条曲线是令人满意的。

与应用单条曲线相比，HDR+ 使用局部色调映射算法来确保最终结果包含无处不在的细节，同时保持边缘和纹理看起来自然。实际上，这将根据整体亮度、局部纹理和噪声量等因素对不同区域应用不同的曲线。不幸的是，HDR+ 在取景器中实时运行太慢，需要为 Live HDR+ 提供替代方法。

实时 HDR+ 的局部曲线近似
使用单一色调曲线不会为整个图像产生令人满意的结果——但是对于小区域呢？考虑下图中的小红色补丁。虽然补丁包括阴影和高光，但输入和输出亮度之间的关系遵循平滑曲线。此外，曲线逐渐变化。对于蓝色块，向右移动十个像素，图像内容和曲线都相似。但是，虽然曲线近似对于小块效果很好，但对于较大的块却会失效。对于较大的黄色块，输入/输出关系更复杂，不能很好地用单一曲线近似。

为了应对这一挑战，我们将输入图像划分为大小大致等于上图中红色块的“图块”，并使用每个图块的曲线近似 HDR+。由于这些曲线逐渐变化，曲线之间的混合是在任何像素处近似最佳曲线的好方法。为了渲染一个像素，我们应用了四个最近瓦片中的每一个的曲线，然后根据到各自瓦片中心的距离混合结果。

与 HDR+ 相比，该算法特别适合GPU。由于每个像素的色调映射可以独立计算，算法也可以并行化。此外，该表示是内存高效的：仅少量图块就足以表示取景器的 HDR+ 局部色调映射。

为了计算局部曲线，我们使用了一种称为HDRnet的机器学习算法，这是一种深度神经网络，可以从线性图像中预测近似于该图像的 HDR+ 外观的每图块曲线。由于其紧凑的架构以及可以使用低分辨率输入图像预测高分辨率取景器曲线的方式，它也很快。我们在数以千计的图像上训练 HDRnet，以确保它在各种场景中都能很好地工作。

双曝光控制
HDR+ 旨在自动生成令人愉悦的 HDR 图像，无需手动控制或后期处理。但有时 HDR+ 再现可能与摄影师的艺术视野不符。虽然图像编辑工具是一种部分补救措施，但 HDR 图像的编辑可能具有挑战性，因为某些决定有效地融入了最终的 JPG。为了最大化编辑的宽容度，可以为每个镜头保存 RAW 图像（应用程序中的一个选项）。然而，这个过程会让摄影师摆脱困境，需要具备 RAW 编辑工具的专业知识以及额外的存储空间。

艺术控制的另一种方法是在取景器中实时提供它。很多摄影师都熟悉曝光补偿滑块，使图像变亮或变暗。但整体亮度不足以表达 HDR 摄影。至少需要两个控件来分别控制高光和阴影。

为了解决这个问题，我们引入了双重曝光控制。当用户点击 Live HDR+ 取景器时，会出现两个滑块。“亮度”滑块的工作方式类似于传统的曝光补偿，可改变整体曝光。此滑块用于在明亮的天空中恢复更多细节，或故意吹灭背景并使主体更加明显。“阴影”滑块只影响暗区——它通过改变色调映射而不是曝光来操作。此滑块对于高对比度场景最有用，可让用户增强阴影以显示细节，或抑制阴影以创建轮廓。

以下是我们能够使用双曝光控制实现的一些戏剧性再现。

双曝光控制让您可以灵活地捕捉同一主题的不同版本。它们不仅限于艰难的 HDR 场景，所以不要害怕尝试不同的主题和灯光。您可能会惊讶于这些滑块会改变您的拍摄方式！

致谢
Live HDR+ 和双重曝光控制是 Google Research、Android、硬件和 UX 设计团队合作的结果。主要贡献者包括：Francois Bleibel、Sean Callanan、Yulun Chang、Eric Chen、Michelle Chen、Kourosh Derakshan、Ryan Geiss、Zhijun He、Joy Hsu、Liz Koh、Marc Levoy、Chia-Kai Liang、Diane Liang、Timothy Lin、Gaurav Malik , Hossein Mohtasham, Nandini Mukherjee, Sushil Nath, Gabriel Nava, Karl Rasche, Yi Chang Shih, Daniel Solomon, Gary Sun, Kelly Tsai, Sung-fang Tsai, Ted Tsai, Ruben Velarde, Lida Wang, Tianfan Xue, Junlan Yang。