图像融合：Exposure Fusion

Exposure Fusion

本篇文章提出了一种将多曝光序列融合成一帧包含更多细节、内容，更高质量的图像，是一种后处理技术，而不是通常的HDR重建工作，这避免了在后处理过程中相机响应曲线(Camera Response Function)的标定。本文内容的核心思想是通过衡量一些具体的图像质量指标，比如图像亮度、颜色饱和度等，来确定序列中的图像在融合过程中所占权重，并通过图像金字塔来完成图像融合。

Quality Measures

在对多曝光图像序列进行融合的时候，往往希望剔除掉平坦、无色的过曝或欠曝区域，给他们分配更少的权重，采用以下三种图像质量衡量方式，来实现从图像序列中挑选出质量更好的帧来赋予更高的融合权重。

Contrast： 用一个简单的Laplacian算子，从灰度图像$L$中提取图像的高频信息，用此高频信息的幅值表示图像的局部对比度，并倾向于给对比度更高的帧赋予更高的融合权重，因为对比度更高的地方往往意味着存在边缘、纹理等重要的图像细节信息
$$C_{i,j,k}=|{▽}^2{L}_{i,j,k}|$$
Saturation： 当图像接近过曝或过暗时时，图像通常接近无色，即偏向纯黑或纯白，用R、G、B三通道的方差来表示图像的饱和度，并倾向于给高饱和度的帧赋予更高的融合权重，因为饱和度很高的地方往往意味着不不是过曝区也不是过暗区，且图像的颜色信息丰富
$$S_{i,j,k}=Var(R_{i,j,k},G_{i,j,k},B_{i,j,k})$$
Well-Exposedness： 通过图像的亮度远离过曝亮度1和欠曝亮度0的距离，来判断某一帧图像曝光的好坏，即分别用图像像素值接近0.5的程度表示图像的曝光合适程度，因为像素值越接近0.5的地方，离过曝或欠曝越远，越容易表现出图像细节信息
$$E_{i,j,k}=e^{?\frac{(R_{i,j,k}?0.5{)}^2}{2{\sigma }^2}}\times e^{?\frac{(G_{i,j,k}?0.5{)}^2}{2{\sigma }^2}}\times e^{?\frac{(B_{i,j,k}?0.5{)}^2}{2{\sigma }^2}}$$
最后将前面三种权重信息结合在一起，得到最后的融合权重：
$$W_{ij,k}={\left(C_{ij,k}\right)}^{{\omega }_C}\times {\left(S_{ij,k}\right)}^{{\omega }_S}\times {\left(E_{ij,k}\right)}^{{\omega }_E}$$
用${\omega }_C、{\omega }_S、{\omega }_E$来控制Contrast、Saturation、Well-Exposedness在图像评价过程中所占权重，最后将以上权重信息进行归一化：
$${\hat{W}}_{ij,k}=\frac{W_{ij,k}}{{\sum }_{k^{\prime }=1}^N{W}_{ij,k^{\prime }}}$$
其中$i,j$像素图像像素位置索引，$k$表示所在帧数的索引。

Fusion

首先考虑最为简单的融合方式，直接使用以上权重信息${\hat{W}}_{ij,k}$对图像系列做融合，如下：
$$R_{ij}=\sum _{k=1}^N{\hat{W}}_{ij,k}{I}_{ij,k}$$
其中$I_{ij,k}$表示第$k$帧输入帧在像素位置$i,j$的像素值，是一个三维向量，包含R、G、B像素值，融合结果如下图中的(b)图：

可以看到融合结果出现明显的断层，这是由于在出现断层的这一区域中，原图像序列中的图像本身就存在较大的灰度跳变，这一跳变带来了融合权重${\hat{W}}_{ij,k}$比较大的跳变，考虑用低通滤波来平滑融合权重${\hat{W}}_{ij,k}$，上图(c、d)分别是用高斯滤波和双边滤波对融合权重${\hat{W}}_{ij,k}$做平滑后再进行融合的结果，图像的断层有些许减弱，但是也出现了一些光晕，融合结果依旧较差，最后使用论文《The Laplacian Pyramid as a Compact Image Code》中提出的基于金字塔分解的融合方法来进行图像融合。关于基于金字塔变换的图像融合方法的具体内容请参见基于金字塔变换的图像融合方法总结。首先对待融合图像$I$进行Laplacian金字塔分解，同样对融合权重$\hat{W}$进行高斯金字塔分解，记分解后的Laplacian金字塔为L{I}i,j,kl\mathbf{L}\{I\}_{i,j, k}^{l}L{ I}i,j,kl?，分解后的高斯金字塔为G{W^}i,j,kl\mathbf{G}\{\hat{W}\}_{i,j, k}^{l}G{ W^}i,j,kl?，高斯金字塔$\mathbf{G}$和Laplacian金字塔$\mathbf{L}$的对应成进行加权融合，得到融合之后的新的Laplacian金字塔：
L{R}ijl=∑k=1NG{W^}ij,klL{I}ij,kl\mathbf{L}\{R\}_{i j}^{l}=\sum_{k=1}^{N} \mathbf{G}\{\hat{W}\}_{i j, k}^{l} \mathbf{L}\{I\}_{i j, k}^{l} L{ R}ijl?=k=1∑N?G{ W^}ij,kl?L{ I}ij,kl?
其中$l$表示对应金字塔层数，最后再将Laplacian金字塔$\mathbf{L}$重建回融合后的最终结果$R$，上图(4)即是通过上述金字塔融合的方式得到的融合结果，可以看出上图(b、c、d)中出现的断层和光晕等问题都消失了，图像的融合结果更好，下图给出基于金字塔融合的示意图