【论文阅读】A Biological Vision Inspired Framework for Image Enhancement in Poor Visibility Conditions

论文：A Biological Vision Inspired Framework for Image
Enhancement in Poor Visibility Conditions
作者：Kai-Fu Yang
年份：2020年
期刊：IEEE TRANSACTIONS ON IMAGE PROCESSING

IMAGE ENHANCEMENT FRAMEWORK

本文提出了基于两个视觉流（即structure-pathway和 detail-pathway）的图像增强框架。 如图2。
（1）将输入的视觉图像分离并送到这两个并行路径中。
（2）structure-pathway传递并处理低频信息（如亮度），并通过视觉适应机制将图像亮度调节至合理水平。 同时detail-pathway抑制噪声且保留结构细节，传递高频信息（如细节和噪声）。
（3）将structure-pathway和 detail-pathway的输出进行组合，以实现亮度调节，噪声抑制和细节增强。

A. Pathway Separation With Global Noise Estimation

低照度图像通常有严重的噪声，为了改善这种图像的视觉质量，必须在图像增强处理期间抑制或消除噪声。 通常，直接改善场景的光线也会放大噪声，这会增加抑制或消除噪声的难度。通过分离的视觉路径，可在structure-pathway中调整（增强）亮度，并在 detail-pathway中实现噪声抑制。
本文不直接remove TV-based decomposition所分解的细节层，而是在细节层中实现了噪声抑制和细节保留。

具体实现

（1）为了将输入图像分为两个路径，本文采用基于 total-variation（TV） energy 的图像分解方法。 将输入图像视为基础层和细节层的叠加：：

（2）基于《Nonlinear total variation based
noise removal algorithms》中提出的TV regularization，通过最小化下面目标函数获得基础层：

该目标函数包括两项：第一个是适应纹理分量的差项，用于保留有意义的结构； 第二个是基于total variation的正则化项，它将限制图像细节。 ?表示梯度算子，并且λc被设置为全局噪声估计（εc）的2倍，即，λc＝2εc，c∈{r，g，b}。 设置λc=2εc的主要目的是确保将噪声和部分高频细节（例如edges）划分为细节层。 因此，可以在细节路径中实现噪声抑制和细节增强，而不会受到低频信息的干扰。
global noise estimation (εc)：


?表示卷积算符，c∈{r，g，b}。
W和H分别是图像（I c）的宽和高。（4）可以粗略估计高频分量的大小，该高频分量用于确定（2）中的正则化参数。 因此，所提出的方法可以自适应地确定将被送到 detail-pathway中的高频分量。
通过解（2）可获得包含场景主要结构的基础层。 那么细节层可以简单地表示为：

图3示出了具有全局噪声估计的图像分解的几个示例。 luminance 信息主要被分为基础层，而细微的细节和噪声则出现在细节层中。 因此，基础层的信息将在 strucutre-pathway 中传递，调整 strucutre-pathway 中的亮度不会放大细节路径中存在的噪声。细节层有助于抑制detail-pathway 中的噪声。

B. Luminance Adaptation in Structure-Pathway

在 strucutre-pathway 中实现了视觉适应和亮度调节。 为了获得亮度信息，将给定图像的基础层从RGB空间转换为HSV颜色空间，然后提取V通道作为亮度信息。 H，S和V分别在[0,1]范围内。

为了将给定图像的亮度调整到合理的范围，根据Naka-Rushton（NR）方程，提出了一些视觉感光器响应模型（visual photoreceptor response models）， 经典的Naka-Rushton方程描述了S形响应曲线，定义为：

L（x，y）是视觉输入的强度。 σ是一个全局适应因子（表示输入光水平的常数），它控制对数输入亮度轴上S形曲线的平均值（图4（左））。 n控制S形曲线的斜率，这会影响整体对比度的缩放比例（图4（右））。 因此，视觉适应处理可以被认为是根据输入的视觉场景或场景的局部区域对σ和n的调整。

（6）中的NR公式通常无法适应局部视觉输入。 特别是对于夜间场景，全局适应水平（σ）不能很好地捕捉不同图像区域中变化很大的灯光的局部特征。 因此修改经典的NR方程，以加权方式自适应地融合局部和全局视觉适应性。由于经典的Naka-Rushton是一个global equation ，通过在亮度调节中的空间依赖性修改NR方程：

在（7）中，Lin（x，y）是给定图像的基础层的亮度通道。 视觉适应水平由两个因素决定：σl（x，y）是随图像局部区域变化的局部适应水平，而σg是从整个图像估计的全局适应水平。 因此对于输入图像，首先估计全局和局部适应项。 ωg（x，y）和ωl（x，y）是根据场景的local luminance 平衡全局和局部 adaptation factors的权重。
n控制S形曲线的斜率并有助于增强对比度。因此将global contrast enhancement factor 计算为与 global adaptation term （σg）相关的度量：

n在[1，2.7]范围内，因为σg的范围在[0，1]中。
对全局对比度缩放，这是一个合理的范围，如图4，其中n随曲线变化。考虑到估计的global adaptation
term （σg）代表输入场景的光照水平，存在一个隐含的约束条件：对于黑暗场景，应避免??全局对比度的大比例缩放，因为这可能导致在黑暗中丢失细节。

为了获得调整后的 luminance map （Lout（x，y）），全局和局部适应因子以及权重计算如下。
（1）令Mσ表示平均值，Sσ表示图像亮度通道中所有像素强度的标准差。 global adaptation factor（σg）计算为

ωs是控制标准差贡献的参数。 为了避免极亮或暗像素对均值和标准差估计产生不必要的影响，只对像素值超出0.5％到99.5％强度范围的像素进行裁剪。
（8）的全局适应因子（σg）取决于亮度图的全局平均值（Mg）和标准差（Sg）。 因此，较暗的场景产生较小的σg，从而导致更强的亮度提高，反之亦然。 标准差（Sg）用于校正某些同时包含大暗区和亮区的场景的全局适应因子估计，即具有直方图双峰分布的图像。 包含更多明亮像素的图像将导致较大的全局平均值，因此，仅使用全局平均值时，会获得全局自适应因子的过高估计，这对于暗区而言效率不高。 但是，考虑到Sg通常远小于1.0，Sg对大多数场景的影响都很小。 因此可通过为特定场景设置ωs= 0来删除标准差（Sg）。
global adaptation term 可以调整图像的全局亮度，但不能增强某些low-light local regions，尤其是在相同场景中存在暗区和亮区时。 因此进一步定义了local intensity adaptation term 来调整场景的局部亮度。
local intensity adaptation term 是一个微调步骤，受global adaptation term的约束。local adaptation term（σl（x，y））定义为：

Sl（x，y）：由 structure-pathway Lin中的亮度通道的局部窗口（如21×21）中的标准差获得。local adaptation factor σl（x，y）都取决于局部光照水平和局部区域中的标准差，这可以有效地加亮暗区并保留亮区。 考虑到Lin（x，y）来自代表图像结构的基本层，并且几乎没有噪声，直接采用亮度通道的强度（Lin（x，y））而不是估计局部平均值。

global and local adaptation terms 的权重随局部亮度在空间上变化，定义为：

k是控制 global and local adaptation terms 的相对贡献的参数。 （实验部分将分析k对最终结果的影响）。

此外，动态范围调整可能会降低某些区域的局部对比度。 因此使用高斯滤波（DoG）的差异构建了一个additional and
optional local contrast enhancement operator，以锐化图像细节：

• 表示卷积，G（x，y）是高斯滤波器。 本文将夜间图像（约400×300像素）的标准差设置为δc= 21，将HDR图像（约4000×2500像素）的标准差设置为δc= 51，将ωdog= 0.5固定不变。

最后，将像素剪裁到[0,1]以上然后进行归一化的常见后处理应用于增强后的亮度图。 最终结果可以通过使用增强的 luminance maps（L ’out（x，y））从HSV转换为RGB颜色空间来获得。 但是直接获得从HSV转换的输出RGB图像（HSV→RGB）可能会导致在非常明亮的光源下，一些图像过饱和（图13）。
因此引入指数 s （本文s = 0.6）来控制颜色的饱和度。 最终处理后的彩色图像：

因此获得了通过 structure-pathway 处理的增强基础层。 图5示出了 structure-pathway 中亮度调整的几个示例。

C. Detail-Preserved Noise Suppression in Detail-Pathway

本文应用噪声抑制而不是去噪的策略来抑制噪声并保留细节。 在detail-pathway 中实施噪声抑制可以在一定程度上避免低频信息的干扰。
（1）（1）-（4）的结构纹理分解将高频细节和噪声分离到e detail-pathway 中。
（2）将细节层的 local energy 视为局部噪声水平的合理估计。 假定具有lowest local energy的区域代表图像的噪声水平，因为具有 lowest energy的区域通常是主要包含噪声的平滑区域（如天空）。相反，其他 higher energies 的区域应该是局部细节和噪声的组合。

为了估计局部噪声，假设噪声水平在整个场景中是恒定的。

（3）用细节层的 local energy估计细节保留的权重（μc（x，y））：

G（x，y）是高斯滤波器，? 是卷积算子。
（16）中低的细节保留权重（μc（x，y））表示点（x，y）位于平滑区域，该区域不包含任何细节，应该抑制。
相反，非常高的 μc（x，y）表示点（x，y）可能位于包含细节的区域中，应该保留。
因此， 细节保留和噪声抑制可以在detail-pathway中实现（如图6）。

夜间图像分解的细节层通常包含强烈的噪音，尤其是在光滑的区域，如天空（图6（b））。
图6（c）：可使用（16）中描述的 local energy很好地估计细节保存的权重。
图6（d）：具有细节保留噪声抑制的处理后的细节图，其中平滑区域中的噪声被有效抑制，而结构细节（如建筑物）被很好地保留。

D. Reconstruction of the Final Image

从structure-pathway获得亮度增强图，并在detail-pathway 中获得带有噪声抑制的细节图，最终结果为：

wd用于平衡细节增强和噪声抑制。 然后，通过像素裁剪和归一化的后期处理，获得低照度或夜间图像的最终增强结果图。

E. Extension to Tone Mapping With Fine-Tuning

当应用于HDR场景时，在上述方法中添加了一些微调步骤：
（1）对数归一化的预处理；
（2）取消detail-pathway中的处理（因为HDR场景通常具有高分辨率并且包含较少的噪声）；
（3）具有自适应伽玛校正的后处理。

首先通过将输入图像转换为HSV颜色空间来直接获得输入图像的亮度通道（Lin（x，y））。 为了避免输入图像的动态范围不一致，将对数重新缩放作为预处理步骤，以将高动态范围归一化为[0，1]，然后将对数归一化的图像送到提出的框架进一步增强。

α= max（Lin（x，y））+1用于适应输入场景的各种动态范围，因此Llog的亮度范围被非线性压缩为0?1.0。

用（7）-（14）处理对数归一化亮度通道（Llog），以获得压缩的亮度图（L ’out）。

最后，为了进一步校正压缩亮度图的局部动态范围，将添加的自适应伽马校正用于压缩亮度通道，以进一步改善HDR压缩。 估计不同场景的自适应伽玛值：

最终的色调映射结果可以通过（15）将L * out（x，y）重构为RGB颜色空间来获得。