图像融合：Image Fusion with Guided Filtering

Image Fusion with Guided Filtering

Two-scale Image Decomposition

给定待融合图像序列$I_n,n=1,2,....N$，均值滤波核$Z$，滤波核尺寸为$31\times 31$：
$$\begin{gathered} B_n=I_n?Z \\ {D}_n=I_n?B_n \end{gathered}$$
其中$B_n$为基础层，$D_n$为细节层。

Weight Map Construction with Guided Filtering

用$3\times 3$的Laplacian算子$L$从待融合图像序列中获取高频信息$H_n$：
$$H_n=I_n?L$$
为去除噪声的影响，对此高频信息的绝对值做一个简单的低通滤波，即得到本文所定义的Saliency Map $S_n$：
$$S_n=|H_n|?g_{r_g,\sigma g}$$
Saliency Map表示了图像序列中的图像所包含的细节信息的显著程度，在融合的过程中，将对细节信息更为显著的图像赋予给高的融合权重，通过比较Saliency Map 得到一个初步的融合权重：
$$P_n^k=\{\begin{array}{cc}1& \text{ if }{S}_n^k=\max \left(S_1^k,S_2^k,\dots ,S_N^k\right)\\ 0& \text{ otherwise }\end{array}$$
当然$P$不能直接用于对待融合图像序列的融合，还需要考虑到图像当中的噪声、边缘等，需要使用Guide Filter对此融合权重进行细化，如下：
$$\begin{array}{l}{W}_n^B=G_{r_1,{?}_1}\left(P_n,I_n\right)\\ W_n^D=G_{r_2,{?}_2}\left(P_n,I_n\right)\end{array}$$
其中$r、?$分别对应Guide Filter的滤波核半径核正则化参数，以上权重需要归一化

Two-scale Image Reconstruction

最后的图像融合的步骤，需要分别用以上计算出来的$W_n^B、W_n^D$对基础层和细节层进行加权，然后将融合过后的基础层和细节层加起来，得到最终的融合结果：
$$\begin{array}{rl}\bar{B}& =\sum _{n=1}^N{W}_n^B{B}_n\\ \bar{D}& =\sum _{n=1}^N{W}_n^D{D}_n\\ F& =\bar{B}+\bar{D}\end{array}$$

Diagram of the proposed method

下图为本文所提算法的流程图，从流程图可以看出，本文所提算法先将图像分解为基础层和细节层，用Laplacian算法的低通结果计算权重图，最后用权重图对图像序列进行加权，得到最终的融合结果

Data

本篇文章的算法验证用到了Petrovic数据库中的多光谱数据、多对焦数据、多曝光数据，均为公开数据

Petrovic数据库当中的9对测试数据

多对焦数据

多曝光数据 ### Objective Image Fusion Quality Metrics 本文应用到多个常用的融合算法测试指标，$A、B$分别表示待融合图像，$F$表示融合结果

1.Normalized mutual information：用于测量待融合图像中的信息在融合结果中的保留程度
$$\begin{gathered} Q_{MI}=2\left[\frac{MI(A,F)}{H(A)+H(F)}+\frac{MI(B,F)}{H(B)+H(F)}\right] \\ MI(A,F)=H(A)+H(F)?H(A,F) \end{gathered}$$

其中$H$是计算边缘熵(Marginal Entropy)，$H(A,F)$是计算交叉熵(Joint Entropy)，$MI$是计算互信息(Mutual Information)

2.Yang metric：用于测量待融合图像中的结构信息在融合结果中的保留程度
QY={λwSSIM(Aw,Fw)+(1?λw)SSIM(Bw,Fw)if SSIM?(Aw,Bw∣w)≥0.75max?{SSIM?(Aw,Fw),SSIM?(Bw,Fw)}if SSIM?(Aw,Bw∣w)<0.75Q_{Y}=\left\{\begin{array}{c} \lambda_{w} S S I M\left(A_{w}, F_{w}\right)+\left(1-\lambda_{w}\right) S S I M\left(B_{w}, F_{w}\right) \\ \text { if } \operatorname{SSIM}\left(A_{w}, B_{w} \mid w\right) \geq 0.75 \\ \max \left\{\operatorname{SSIM}\left(A_{w}, F_{w}\right), \operatorname{SSIM}\left(B_{w}, F_{w}\right)\right\} \\ \text { if } \operatorname{SSIM}\left(A_{w}, B_{w} \mid w\right)<0.75 \end{array}\right. QY?=????????λw?SSIM(Aw?,Fw?)+(1?λw?)SSIM(Bw?,Fw?) if SSIM(Aw?,Bw?∣w)≥0.75max{ SSIM(Aw?,Fw?),SSIM(Bw?,Fw?)} if SSIM(Aw?,Bw?∣w)<0.75?
其中$w$是$7\times 7$的窗口，${\lambda }_w=\frac{s\left(A_w\right)}{s\left(A_w\right)+s\left(B_w\right)}$，$s$是计算方差

3.Cvejic matric：用于测量待融合图像中的重要信息在融合结果中的保留程度
$$Q_C=\mu \left(A_w,B_w,F_w\right)UIQI\left(A_w,F_w\right)+\left(1?\mu \left(A_w,B_w,F_w\right)\right)UIQI\left(B_w,F_w\right)$$

$$\mu \left(A_w,B_w,F_w\right)=?\begin{array}{cc}0,& \text{ if }\frac{{\sigma }_{AF}}{{\sigma }_{AF}+{\sigma }_{BF}}<0\\ \frac{{\sigma }_{AF}}{{\sigma }_{AF}+{\sigma }_{BF}},& \text{ if }0\le \frac{{\sigma }_{AF}}{{\sigma }_{AF}+{\sigma }_{BF}}<1\\ 1,& \text{ if }\frac{{\sigma }_{AF}}{{\sigma }_{AF}+{\sigma }_{BF}}>1\end{array}$$

其中$\sigma$表示协方差，$UIQI$是引自《A universal image quality index》的图像质量指标

4.Gradient based index：用于测量待融合图像中的边缘信息在融合结果中的保留程度
$$Q_G=\frac{{\sum }_{i=1}^N{\sum }_{j=1}^M\left(Q^{AF}(i,j){\tau }^A(i,j)+Q^{BF}(i,j){\tau }^B(i,j)\right)}{{\sum }_{i=1}^N{\sum }_{j=1}^M\left({\tau }^A(i,j)+{\tau }^B(i,j)\right)}$$

$$Q^{AF}=Q_g^{AF}{Q}_o^{AF};Q^{BF}=Q_g^{BF}{Q}_o^{BF}$$

其中$Q_g$表示融合结果对原图边缘强度的保留程度，$Q_o$表示融合结果对原图边缘方向的保留程度，$\tau$为设定的权重

5.Phase congruency based index：用于测量待融合图像中的显著信息在融合结果中的保留程度
$$Q_P={\left(P_p\right)}^{\alpha }{\left(P_M\right)}^{\beta }{\left(P_m\right)}^{\gamma }$$
其中$p、M、m$分别表示相位一致性、矩的最大值、矩的最小值，$\alpha 、\beta 、\gamma$一般设置为1
下图是本文所提算法在以上5个指标的具体表现，其中$r$为guide filter的滤波窗口尺寸，$\epsilon $为正则化参数

Comparison with other image fusion methods

下图分别是本文所提算法与其他算法融合灰度图像、彩色图像效果比较示意图，本文所提算法对细节保留能力较高不产生伪影，且能够在一定程度上避免产生鬼影

下图是本文所提算法与其他算法融合多对焦图像的效果对比示意图，本文所提算法产生的Halo相对较轻

下表是以上三组图像融合结果在上述的5个客观指标与其他算法的比较，综合看来，本文所提算法在性能指标上表现较好

前面验证的待融合图像序列中都仅有两帧待融合图像，下图是8帧待融合数据使用本文方法的融合结果