Gradient-directed Composition of Multi-exposure Images
文章目录
- Gradient-directed Composition of Multi-exposure Images
-
- Visibility Assessment
- Consistency Assessment
- Seamless Composition
这篇文章是一个简单的用Alpha Blending做图像融合的方法，并且尝试用判断梯度方向变化的方法来避免动态场景融合产生的鬼影。
图像梯度在多曝光图像融合过程中可以做两方面图像质量的判断，一方面由于在图像的过曝、欠曝区域中，图像梯度幅度一般为0或者很小，可以通过降低图像梯度幅度较小的区域的融合权重来实现，另一方面图像序列中梯度方向的变化往往由场景中的运动物体造成，因此可以通过检测图像梯度方向的变化来检测场景中的运动物体，避免融合过程中产生鬼影。下图为本文融合算法的简单流程图，主要包括视觉限制性检测、梯度方向一致性检测、图像融合三部分。
Visibility Assessment
用图像序列中的梯度幅度来判断当前帧的曝光对于当前像素点的合适程度，因为对于固定场景中的某特定点，可以将针对这一个特定点的最合适曝光看作是使得当前点的梯度幅度最大的曝光，即在给图像序列中梯度幅度最大的图像赋予最高的融合权重。
Vi(x,y)=mi(x,y)∑i=1Nmi(x,y)+?(1)V^{i}(x, y)=\frac{m^{i}(x, y)}{\sum_{i=1}^{N} m^{i}(x, y)+\epsilon}\tag{1} Vi(x,y)=∑i=1N?mi(x,y)+?mi(x,y)?(1)
其中mim^{i}mi表示第iii帧图像的梯度幅度，?\epsilon?为正则化参数，在本文的方法中，如是静态场景，就直接使用ViV^{i}Vi作为最终的融合权重对图像序列进行融合，融合结果如下：
Consistency Assessment
针对运动场景，还需要依据图像序列中图像梯度方向的变化来检测场景中的运动物体，并对整个图像序列中梯度反方向偏离序列主要梯度方向的图像或者出现次数较少的图像赋予较低的融合权重。 这个逻辑比较接近与在图像序列中通过梯度方向的变化检测场景中的运动物体，如果运动物体在图像序列中出现的次数相对较少的话，就不让出现运动物体的图像参与融合，这样会出现的一个问题是融合图像中几乎不包含突然出现的运动物体，即使是拍摄者想要捕捉的主体。
dij(x,y)=∑k=?ll∣θi(x+k,y+k)?θj(x+k,y+k)∣(2l+1)2(2)d_{i j}(x, y)=\frac{\sum_{k=-l}^{l}\left|\theta^{i}(x+k, y+k)-\theta^{j}(x+k, y+k)\right|}{(2l+1)^{2}}\tag{2} dij?(x,y)=(2l+1)2∑k=?ll?∣∣?θi(x+k,y+k)?θj(x+k,y+k)∣∣??(2)
Si(x,y)=∑j=1Nexp?(?dij(x,y)22σs2)(3)S^{i}(x, y)=\sum_{j=1}^{N} \exp \left(\frac{-d_{i j}(x, y)^{2}}{2 \sigma_{s}^{2}}\right)\tag{3} Si(x,y)=j=1∑N?exp(2σs2??dij?(x,y)2?)(3)
其中θi\theta^{i}θi表示第iii帧图像的梯度方向，l=9l=9l=9为平滑窗口尺寸，σs=0.2\sigma_{s}=0.2σs?=0.2，并且dij(x,y)=dji(x,y)、dii=djj=0d_{ij}(x,y)=d_{ji}(x,y)、d_{ii}=d_{jj}=0dij?(x,y)=dji?(x,y)、dii?=djj?=0。在下面给出了梯度方向一致性检测的示意图。
此外还需要考虑到在多曝光序列中，梯度方向的变化不仅由运动物体造成，图像中的过曝、欠曝区域也会造成梯度方向的变化，需要再添加额外的限制条件，来避免误判
αi(x,y)={11?τ<Ii(x,y)<τ0otherwise (4)\alpha^{i}(x, y)=\left\{\begin{array}{ll} 1 & 1-\tau<I^{i}(x, y)<\tau \\ 0 & \text { otherwise } \end{array}\right.\tag{4} αi(x,y)={
10?1?τ<Ii(x,y)<τ otherwise ?(4)
Ci(x,y)=Si(x,y)×αi(x,y)∑i=1NSi(x,y)×αi(x,y)+?(5)C^{i}(x, y)=\frac{S^{i}(x, y) \times \alpha^{i}(x, y)}{\sum_{i=1}^{N} S^{i}(x, y) \times \alpha^{i}(x, y)+\epsilon}\tag{5} Ci(x,y)=∑i=1N?Si(x,y)×αi(x,y)+?Si(x,y)×αi(x,y)?(5)
其中参数τ=0.9\tau=0.9τ=0.9用于定义图像中曝光良好的像素值范围，IiI^{i}Ii为图像像素值。
Seamless Composition
通过结合上式(1)、(5)来得到图像序列最终的融合权重：
Wi(x,y)=Vi(x,y)×Ci(x,y)∑i=1NVi(x,y)×Ci(x,y)+?W^{i}(x, y)=\frac{V^{i}(x, y) \times C^{i}(x, y)}{\sum_{i=1}^{N} V^{i}(x, y) \times C^{i}(x, y)+\epsilon} Wi(x,y)=∑i=1N?Vi(x,y)×Ci(x,y)+?Vi(x,y)×Ci(x,y)?
下图是对多曝光图像序列的融合结果.
