论文笔记：水下图像增强中的颜色平衡与融合 Color Balance and Fusion for Underwater Image Enhancement

文献地址：Color Balance and Fusion for Underwater Image Enhancement

简介

文中介绍了一种有效的技术，以做到水下捕获的图像的增强并且减少了介质散射和吸收。这个不需要专门的硬件或水下条件或场景结构的知识方法，只需要一个单一的图像。它建立在两幅图像的融合上，这两幅图像是直接从原始退化图像的彩色补偿和白平衡版本得到的。定义了要融合的两幅图像及其相关的权值映射，以促进边缘和颜色对比度对输出图像的转移。为了避免剧烈的权值变换在重建图像的低频分量中产生伪影，我们还采用了多尺度融合策略。我们广泛的定性和定量评估显示，增强的图像和视频的特点是更好的暴露黑暗区域，改善了整体对比度，和边缘锐度。

与一般图像不同的是，水下图像由于传播光的衰减，主要是由于吸收和散射效应，能见度较差。吸收大大降低了光能，而散射导致光传播方向的变化。它们会导致雾气的出现和对比度的下降，使远处的物体模糊实际上，在一般的海水图像中，距离超过10米的物体几乎是不可感知的，由于它们的组成波长是根据水深而减少的，所以颜色会褪色。

曾有许多人试图恢复和提高这类退化图像的可见度。由于水下场景的恶化是乘法和加性过程相结合的结果，传统的增强技术，如伽马校正，直方图均衡化似乎对此任务有很强的限制。在以前的工作中，通过使用多幅图像、专用硬件或偏振滤波器的量身定做的获取策略来解决这一问题。尽管这些方法取得了宝贵的成就，但不实用。

在此基础上，本文提出了一种基于常规摄像机采集的单幅图像水下去雾的新方法。如图1所示，我们的方法建立在多输入融合的基础上，通过校正对比度和锐化单个本地输入图像的白色平衡版本来导出两个输入组合。白色平衡阶段的目的是消除水下光散射所引起的色彩投射，从而产生海底图像的自然外观。融合过程的多尺度实现导致了一个无伪影的混合。

正文

水下光传播

对McGlamery和Jaffe的综合研究表明，图像平面上的总辐照度在水下介质中有三个主要组成部分：直接分量、前向散射和后向散射。直接分量是目标物体直接反射到图像平面上的光的分量。
在每个图像坐标x上，直接分量表示为：
其中J(X)是物体的辐射度，d(X)是观测器和物体之间的距离，η是衰减系数。指数项e^?ηd(X)也称为通过水下介质的传输，记为t(X)。

除了吸收外，水下介质中存在的漂浮粒子也会引起入射光的偏离(散射)。
前向散射是由于光线在到达照相机镜头时的随机偏差而产生的。实验确定，它的影响可以用直接衰减分量之间的卷积近似，有一个取决于图像平面与物体之间的距离的点扩散函数。

后向散射是由于人工光线(如闪光灯)击中水粒子，并反射回照相机。背向散射的作用就像一层耀眼的面纱叠加在物体上。通过简单地改变人工光源的位置和角度，使得大部分反射粒子光不能到达摄像机，可以显着地减小该分量的影响。然而，在许多实际情况下，后向散射仍然是水下图像对比度损失和颜色偏移的主要来源。
在数学上，它通常表示为：

其中，B∞(X)是一种颜色矢量，称为背散射光。
因此，忽略前向散射分量，简化的水下光学模型变成：

这种简化的水下摄像机模型与用来表征光在大气中传播的Koschmieder模型相似。然而，它并没有反映出衰减系数在很大程度上取决于水下环境中的光波长和颜色。

水下白平衡

如图所示，论文中的图像增强方法采用白色平衡和图像融合相结合的两步策略来改善水下图像，而不依赖于光学模型的显式反演。在这个方法中，白色平衡的目的是补偿颜色的选择性吸收和深度，而图像融合是为了增强场景的边缘和细节，以减少背向散射造成的对比度损失。

白平衡的目的是改善图像方面，主要是通过消除由于不同的照明或介质衰减特性造成的不想要的颜色铸件。在水下，颜色的感知与深度高度相关，一个重要的问题是需要纠正的绿色-蓝色外观。当光穿透水时，衰减过程选择性地影响波长光谱，从而影响彩色表面的强度和外观。由于散射比短波长的衰减更大，当我们在更深的水中下降时，颜色感知会受到影响。在实际中，颜色的衰减和损失也取决于观察者和场景之间的总距离。

通过前人提出的大量白平衡方法，该论文确定了一些既有效又适合该问题的解决方案。

其中大多数方法都对光源的颜色进行了特定的估计，然后通过将每个颜色通道除以相应的归一化光源强度来达到颜色的恒定性。最大RGB是通过假定每个信道中的最大相应是由于白色补丁引起的，因此通过使用不同颜色通道的最大响应来估计光源的颜色。

通过综合研究发现，著名的Gray world算法在合理扭曲的水下场景中取得了良好的视觉性能。然而，对极端恶化的水下场景进行更深入的调查显示，大多数传统的方法表现很差。它们不能消除颜色的变化，通常看起来是蓝色的。去除蓝色调最好的方法是Gray world，但我们观察到这种方法存在严重的红色伪影。

1.与红、蓝通道相比，绿色通道在水下保存较好。长波长的光，即红光，在清澈的水中首先会丢失；

2.绿色通道是比红色通道含有相反颜色信息的通道，因此，补偿红色比绿色更强的衰减显得尤为重要。因此，我们通过添加绿色通道的一小部分变成红色。我们最初尝试将一小部分绿色和蓝色添加到红色中，但是，如图所示，只使用绿色通道的信息可以更好地恢复整个颜色谱，同时保持背景的自然外观(水域)

3.补偿应与平均绿值和平均红值之差成正比，因为在Gray world假设下(所有通道的衰减前均值相同)，这一差异反映了红绿衰减之间的差异/不平衡；

4.为了避免红通道在红损补偿后的Gray world步骤中饱和，红通道的增强应主要影响红色通道值较小的像素，而不应改变已包含重要红色分量的像素。换言之，绿色通道信息不应在红色通道信息仍显着的地区传递。因此，我们希望避免Gray world算法在过度暴露区域中引入的红色外观。基本上，红色通道的补偿只能在那些衰减很大的区域执行。这个论点跟随在中的陈述，告诉我们，如果一个像素对于这三个通道有一个重要的值，这是因为它位于观察者附近的位置，或者在一个人工照明的区域，并且不需要被恢复。

总结一下就是，水中绿色信息过多，且红色信息与绿色信息相反，因此需要将一部分红色通道值较小的像素的绿色信息改为红色信息，从而既能防止饱和出现，又丰富了画面。

从数学上讲，为了解释上述观测结果，我们建议在每个像素位置(x)表示补偿后的红通道Irc，如下所示：

其中，Ir，Ig表示图像i的红、绿两色通道，每个通道都在[0，1]区间内，经过其动态范围的上限的归一化处理。而Ir-和Ig-表示Ir和Ig的均值。在方程中，第二项中的每个因子都直接来自上述观测结果之一，α表示一个常数参数。在实践中测试表明，α=1的值适用于不同的照明条件和获取设置。

并且，在浑浊水域或浮游生物浓度较高的地方，由于有机物的吸收，蓝色通道可能会大大减弱。为了解决这些情况，当蓝色被强烈衰减，而红色通道的补偿似乎不足时，建议也补偿蓝色信道的衰减，即计算补偿的蓝色信道Ibc为：

式子含义与上文类似，其中Ib，Ig表示图像i的蓝色和绿色通道，α也设置为常数1。

在补偿了红色(或者蓝色)通道的衰减后，我们采用传统的Gray world方法的假设来估计和补偿光源的颜色。

多尺度融合

下一步就是多尺度融合：

在这项工作中，我们建立了多尺度融合的原则，提出了一种单幅图像水下去雾的解决方案。我们的框架建立在一组输入和权重映射的基础上，这些输入和权重映射来自于一幅原始图像，选择这个方法是为了从上一节介绍的白平衡中取得最佳效果。

主要步骤分为三部：
1.从白平衡水下图像导出输入
2.定义权重图
3.输入和权重图的多尺度融合

融合过程的输入

一般来说，白平衡水下图像往往显得过于明亮，因此我们使用gamma矫正，纠正全局对比度，这一修正增加了明暗区域的差异，代价是失去了一些细节。

为了弥补上一步的损失，我们定义了输入的第二幅图象，白平衡图像的锐化版本。

定义锐化图像如下：

其中S表示锐化图像，I表示原始图像，N{}表示线性归一化算子（直方图拉伸），G*I表示原图的高斯滤波

融合过程的权重

融合过程的权重如何选择。

首先是拉普拉斯权重（Wl），通过计算输入的拉普拉斯滤波后的绝对值来估计全局对比度，这种方法不能很好的区分出边缘和非边缘区域，为了解决这个问题，

我们使用显著性权重（Ws），用Achantay所提出的显著性估计，然而，显著性图倾向于高亮区域，为了解决这个问题，本文提出了一个额外的权重图。

饱和权（Wsat）使得融合算法能够通过对高饱和区域的优势来适应颜色信息，计算方法如下：

其中Lk代表输入图像的亮度，Rk、Gk、Bk代表三个通道下的亮度。

对于每个输入图像，将三个权重图相加映射到一个图中，得到聚合权重映射Wk，

多尺度融合

多尺度融合是基于拉普拉斯金字塔，实际中，金字塔每一层都对图像用参数为2的低通高斯滤波核进行滤波，从输入中减去一个高采样版本的低通图像，并用低通图像作为后续输入。

Ll和Gl分别表示拉普拉斯金字塔和高斯金字塔的第一层

融合过程如下：

结果