泊松抠图：Poisson Matting_综合

Poisson Matting

文章目录

Poisson Matting
- Global Poisson matting
- Local Poisson matting

泊松抠图是著名的交互式抠图算法，已经被广泛应用于图像处理的各个领域当中。

Global Poisson matting

抠图即是从复杂场景中精准的抠出目标物体用于后续处理，将抠图问题做如下数学定义：
$I=αF+(1?α)B(1)I=\alpha F+(1-\alpha) B\tag{1}$
将图像 $I (x, y)$ 看做是背景图像 $B (x, y)$ 与前景 $F (x, y)$ 按照权重 $α(x,y)\alpha (x,y)$ 融合得到的，抠图即是从图像 $I$ 中计算得到权重 $α\alpha$ 的过程，本文的核心思想即是通过求解泊松方程完成上式方程的求解，取上式的微分形式：
$?I=(F?B)?α+α?F+(1?α)?B(2)\nabla I=(F-B) \nabla \alpha+\alpha \nabla F+(1-\alpha) \nabla B\tag{2}$
其中 $?=(??x,??y)\nabla=\left(\frac{\partial}{\partial x}, \frac{\partial}{\partial y}\right)$ 为梯度算子，假设背景图像 $B$ 和前景图像 $F$ 本身是足够平滑的，那么上式中 $α?F+(1?α)?B\alpha \nabla F+(1-\alpha) \nabla B$ 相对较小，可以做如下近似：
$?α≈1F?B?I(3)\nabla \alpha \approx \frac{1}{F-B} \nabla I\tag{3}$
这意味着权重图 $α\alpha$ 的梯度与图像 $I$ 的梯度成正比，如下图所示，预先定义图像的前景区域 $ΩF\Omega_{F}$ 、背景区域 $ΩB\Omega_{B}$ 、未知区域 $Ω\Omega$ ，对于图像中的任意一点 $p = (x, y)$ ， $I_{p}$ 表示当前点的像素值， $F_{p}、B_{p}$ 分别表示前景区域、背景区域像素值，则对未知区域的边界做如下定义:
$?Ω={p∈ΩF∪ΩB∣Np∩Ω≠?}(4)\partial \Omega=\left\{p \in \Omega_{F} \cup \Omega_{B} \mid N_{p} \cap \Omega \neq\oslash\} \right.\tag{4}$
根据式(3)，求解 $α\alpha$ 需要知道 $F?B、?IF-B、\nabla I$ ，将 $α\alpha$ 的求解问题转换为对一下变分问题的求解：
$α?=arg?min?α?p∈Ω∥?αp?1Fp?Bp?Ip∥2dp(5)\alpha^{*}=\arg \min _{\alpha} \iint_{p \in \Omega}\left\|\nabla \alpha_{p}-\frac{1}{F_{p}-B_{p}} \nabla I_{p}\right\|^{2} d p\tag{5}$
采用狄利克雷边界条件：
$αp∣?Ω=α^p∣?Ω={1p∈ΩF0p∈ΩB(6)\left.{\alpha}_{p}\right|_{\partial \Omega}=\left.\widehat{\alpha}_{p}\right|_{\partial \Omega}=\left\{\begin{array}{ll} 1 & p \in \Omega_{F} \\ 0 & p \in \Omega_{B} \end{array}\right.\tag{6}$
上式中定义的边界条件与下图中给定的由用户定义前景区域 $F$ 、背景区域 $B$ 是一致的。令 $F(?αp?1Fp?Bp)F(\nabla\alpha_{p}-\frac{1}{F_{p}-B_{p}})$ ，根据变分原则，式(5)的求解满足欧拉公式：
$?F??αp?ddx?F??αp?ddy?F??αp=0(7)\frac{\partial F}{\partial \nabla\alpha_{p}}-\frac{d}{d x} \frac{\partial F}{\partial \nabla\alpha_{p}}-\frac{d}{d y} \frac{\partial F}{\partial \nabla\alpha_{p}}=0\tag{7}$
及得泊松方程：
$Δα=div?(?IF?B)(8)\Delta \alpha=\operatorname{div}\left(\frac{\nabla I}{F-B}\right)\tag{8}$
其中 $Δ=(?2?x2+?2?y2)\Delta=\left(\frac{\partial^{2}}{\partial x^{2}}+\frac{\partial^{2}}{\partial y^{2}}\right)$ ， $d i v$ 为散度算法， $?\nabla$ 为拉普拉斯算子，关于泊松方程的求解方法可以参考CS267: Notes for Lectures 15 and 16。
泊松抠图：Poisson Matting
以上基于泊松方程的全局抠图算法，往往需要多次迭代才能得到比较理想的结果，具体迭代过程如下：

初始化 $F ? B$ ，未知区域 $Ω\Omega$ 中的像素点 $p$ 可以根据其像素值与前景区域像素值 $F_{p}$ 、背景区域像素值 $B_{p}$ 的相似性进行初步划分，得到 $F ? B$ ，为保证 $F ? B$ 的平滑性，用高斯滤波器简单平滑 $F ? B$ ，用于抑制噪声和 $F 、 B$ 不准确估计带来的影响。
求解式(8)所示泊松方程，得到 $α\alpha$
根据求解得到的 $α\alpha$ ，进一步细化对 $F 、 B$ 的估计：
$ΩF+={p∈Ω∣αp>0.95,Ip≈Fp}ΩB+={p∈Ω∣αp>0.95,Ip≈Bp}\Omega_{F}^{+}=\left\{p \in \Omega \mid \alpha_{p}>0.95, I_{p} \approx F_{p}\right\}\\ \Omega_{B}^{+}=\left\{p \in \Omega \mid \alpha_{p}>0.95, I_{p} \approx B_{p}\right\}$
然后更新对 $ΩF、ΩB\Omega _{F}、\Omega_{B}$ 的估计：
$ΩF=ΩF∪ΩF+ΩB=ΩB∪ΩB+\Omega_{F}=\Omega_{F} \cup \Omega_{F}^{+}\\ \Omega_{B}=\Omega_{B} \cup \Omega_{B}^{+}$
如此迭代以上第2-4步，即可解得 $α\alpha$

Local Poisson matting

回顾前面对前景区域和背景区域的基本假设，如果，前景区域和背景区域并不平滑的话，基于全局的泊松抠图效果往往不够好，因此将全局的泊松抠图问题再次划分为几个局部区域的子问题分别求解。将式(2)重写为：
$?α=A(?I?D)\nabla \alpha = A(\nabla I -\mathbf{D})$
其中 $A=1F?BA=\frac{1}{F-B}$ ， $D=α?F+(1?α)?B\mathbf{D}=\alpha\nabla F +(1-\alpha)\nabla B$ ， $A$ 控制 $α\alpha$ 最终的梯度强度， $D\mathbf{D}$ 为由前景、背景不够平滑所产生的梯度，我们前面的假设即是认为 $D\mathbf{D}$ 接近0，当 $D\mathbf{D}$ 不再接近0时，即用局部方法求解。记 $A?、D?A^{*}、\mathbf{D}^{*}$ 为 $A?、D?A^{*}、\mathbf{D}^{*}$ 的ground truth，下图即是 $A、DA、\mathbf{D}$ 错误估计对最终 $α\alpha$ 结果的影响。
泊松抠图：Poisson Matting
如Figure2.b中所示，可以从全局泊松抠图中指定不满意的区域 $ΩL\Omega _L$ 进行局部区域的进一步抠图，定义新的未知区域边界：
$?Ω={p∈(ΩL∩Ω)?∣Np∩(ΩL∩Ω)≠?}\partial \Omega=\left\{p \in \overline{\left(\Omega_{L} \cap \Omega\right)} \mid N_{p} \cap\left(\Omega_{L} \cap \Omega\right) \neq \emptyset\right\}$
变分问题变为：
$α?=arg?min?α?p∈ΩL∩Ω∥?αp?Ap(?Ip?Dp)∥2dp\alpha^{*}=\arg \min _{\alpha} \iint_{p \in \Omega_{L} \cap \Omega}\left\|\nabla \alpha_{p}-A_{p}\left(\nabla I_{p}-\mathbf{D}_{p}\right)\right\|^{2} d p$
此时的狄利克雷边界条件为：
$αp∣?Ω=α^p∣?Ω={1p∈ΩF0p∈ΩBαgp∈Ω\left.{\alpha}_{p}\right|_{\partial \Omega}=\left.\widehat{\alpha}_{p}\right|_{\partial \Omega}=\left\{\begin{array}{cl} 1 & p \in \Omega_{F} \\ 0 & p \in \Omega_{B} \\ \alpha_{g} & p \in \Omega \end{array}\right.$
其中 $αg\alpha_{g}$ 是全局泊松抠图后计算得到的未知区域边界点处的 $α\alpha$ 值。