UnSuperPoint:End-to-End Unsupervised Interest Point Detector And Descriptor 论文解读

UnSuperPoint:End-to-End Unsupervised Interest Point Detector And Descriptor 论文解读

简介

特征点的语义信息并不明确难以用人工标注特征点位置的方法得到一个巨大的数据集，是深度学习方法用在特征点提取上的最大问题。

之前工作：

• TILDE 用类似于sift的特征点作为真实值
• Quad-network 基于图片单应变换结果训练，但输入为单个patch
• LIFT，LF-Net 利用SfM中的特征点作为真实值
• SuperPoint 利用模拟数据训练网络，自监督生成伪真实值

本工作类似于SuperPoint,但是是在其基础上的更进一步。

• 在全图尺寸上运行
• 不需要真实值，直接根据单应关系训练得到
• 同时得到特征点位置和描述子

---

因此，本文创新点在于：

• 提出一种自监督训练方法，不需要生成伪特征点真实值，能够直接训练得到特征点位置和得分
• 提出新颖网络结构和损失函数，使得网络能够高效提取均匀分布的特征点，在速度精度和重复率等方面均达到最优

方法

网络结构

整体网络结构如下图，分为四个部分

• 特征提取
  • VGG风格的特征提取，和SuperPoint基本一致，得到$W/8\times H/8\times 128$大小的特征
• 得分分支
  • 经过两次卷积得到 $W/8\times H/8\times 1$大小的矩阵，代表对应特征点的得分，得分在[0,1]之间。
• 位置分支

  • 两次卷积得到 $W/8\times H/8\times 2$大小的矩阵，$W/8\times H/8$个特征点坐标

  • 由于特征是下采样后的，只有$W/8\times H/8$ 大小，文中干脆就假设在$8\times 8$范围内只有一个特征点，反倒起到非极大值抑制类似效果
    

  • 特征点位置：$(x,y)=(c+P_1(r,c),r+p_2(r,c))?8$, 含义为第(r,c)位置上的矩阵包含$P_1(r,c),P_2(r,c)$两个数据，分别在0-1之间，代表位置系数。因此预测的特征点位置为$c+P_1(r,c),r+p_2(r,c)$,此外乘上下采样系数便得到最终预测的特征点位置。

• 描述子分支
  • 两次卷积，得到$W/8\times H/8\times 256$的描述子
  • 然后利用特征点位置对描述子进行插值

自监督学习方法

• 这应该是最简单，最直观的特征点训练方式，这样都能训练出来才是最难的。

损失函数

文中花费了大量的笔墨描述损失函数的构造以及结果分析，个人目前认为合理的损失函数是能够如此简单直接的训练方法还能得到很好结果的原因。

• 特征点位置和得分损失 $L^{usp}$
• 特征点分布均匀性损失 $L^{un{i}_{x}y}$
• 描述符损失 $L^{desc}$
• 描述符正则化项 $L^{decorr}$

整体的损失函数为：

$$L_{total}={\alpha }_{usp}{L}^{usp}+{\alpha }_{un{i}_{x}y}{L}^{uni\_xy}+{\alpha }_{desc}{L}^{desc}+{\alpha }_{decorr}{L}^{decorr}$$

特征点位置和得分损失

由于需要两张图片提取的特征点一起确定误差项，因此首先需要确定如何对提取得到的特征点构建匹配关系。

将图片A中所有特征点变换到B中，计算和B中所有特征点的距离，取最近且小于最大值的一对点作为匹配点。

• 距离计算
  $$\mathbf{G}={\left[g_{ij}\right]}_{M^{\mathrm{A}}\times M^{\mathrm{B}}}={\left[{\Vert {\mathbf{p}}_i^{\mathrm{A}\to \mathrm{B}}?{\mathbf{p}}_j^{\mathrm{B}}\Vert }_2\right]}_{M^{\mathrm{A}}\times M^{\mathrm{B}}}$$

• 距离小于阈值的作为匹配点，记为$\hat{s},\hat{P},\hat{F}$

损失函数

损失函数分为三个部分

• 位置损失 $l^{position}$
• 得分损失 $l^{score}$
• 匹配损失 $l^{usp}$

总体得分如下：

$$L^{usp}={\alpha }_{position}\sum _{k=1}^K{l}_k^{position}+{\alpha }_{score}\sum _{k=1}^K{l}_k^{score}+\sum _{k=1}^K{l}_k^{usp}$$

位置损失

重投影误差：
$$l_k^{position}=\Vert T{\hat{p}}_k^A?{\hat{p}}_k^B\Vert$$

得分损失

两个匹配的特征点得分应该尽量接近

$$l_k^{\text{score }}={\left({\hat{s}}_k^{\mathrm{A}}?{\hat{s}}_k^{\mathrm{B}}\right)}^2$$

匹配损失

定义匹配误差：
$$d_k=\Vert T{\hat{\mathbf{p}}}_k^{\mathrm{A}}?{\hat{\mathbf{p}}}_k^{\mathrm{B}}\Vert =\Vert {\hat{\mathbf{p}}}_k^{\mathrm{A}\to \mathrm{B}}?{\hat{\mathbf{p}}}_k^{\mathrm{B}}\Vert$$
那么，定义匹配损失：
$$l_k^{\text{usp }}={\hat{s}}_k\left(d_k?\bar{d}\right)$$

其中，
$${\hat{s}}_k=\frac{{\hat{s}}_k^A+{\hat{s}}_k^B}{2}$$

$$\bar{d}=\frac{1}{K}\sum _{k=1}^K{d}_k$$

这样得分越高的点，匹配误差就越小，得分低的点匹配误差大一点没啥关系。

• 之所以这么定义，可能是训练过程中的图片总是会有匹配不上的点，如果用整体的误差最小，可能难以收敛。只保证得分很高的前一部分特征点取得较高的精度能够去除掉一些无法匹配的区域影响，训练效果更好。

特征点分布均匀性损失

将$x,y$坐标排序并归一化，从0开始，如果特征点分布的非常非常均匀则理想情况下应该是如此排列的。

$$x=[0,\frac{1}{M?1},\frac{2}{M?1},\frac{3}{M?1},?，\frac{i?1}{M?1},?,1]$$

上式为理想的坐标分布，那么实际情况下的均匀性误差为：
$${\left(x_i^{\text{sorted }}?\frac{i?1}{M?1}\right)}^2$$

因此，从x,y两个方向分别定义如下的误差函数，代表和理想分布的距离：

$$\begin{array}{rl}{\mathcal{L}}^{\text{uni\_xy }}& ={\alpha }_{\text{uni\_xy }}\left({\mathcal{L}}^{\text{uni\_x}}+{\mathcal{L}}^{\text{uni\_y }}\right)\\ {\mathcal{L}}^{\text{uni\_x }}& =\sum _{i=1}^M{\left(x_i^{\text{sorted }}?\frac{i?1}{M?1}\right)}^2\\ {\mathcal{L}}^{\text{uni\_y }}& =\sum _{i=1}^M{\left(y_i^{\text{sorted }}?\frac{i?1}{M?1}\right)}^2\end{array}$$

描述符损失

和SuperPoint特征点的描述符损失保持一致

$$\begin{array}{rl}{\mathcal{L}}^{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{c}}& =\sum _{i=1}^{M^A}\sum _{j=1}^{M^{\mathrm{B}}}{l}_{ij}^{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{c}}\\ l_{ij}^{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{c}}& ={\lambda }_d?c_{ij}?\max \left(0,m_p?{\mathbf{f}}_i^{{\mathrm{A}}^T}{\mathbf{f}}_j^{\mathrm{B}}\right)\\ & +\left(1?c_{ij}\right)?\max \left(0,{\mathbf{f}}_i^{{\mathrm{A}}^T}{\mathbf{f}}_j^{\mathrm{B}}?m_n\right)\end{array}$$

• ${\mathbf{f}}_j^{\mathrm{A}},{\mathbf{f}}_j^{\mathrm{B}}$均为单位向量
• ${\mathbf{f}}_i^{{\mathrm{A}}^T}{\mathbf{f}}_j^{\mathrm{B}}$结果为两个向量越接近值越大
• $c_{ij}=1$为两点为匹配点时，仅有第一项，两向量尽可能接近时LOSS越小
• $c_{ij}=0$为两点为匹配点时，仅有第二项，两向量尽可能远离时LOSS越小

描述符正则化项

目标减少特征描述符的过拟合并提高表达紧凑性，基于如下思考：

• 若描述符的所有维度数值相关性很低，那么同样大小的描述子将会表达更多的信息，极端情况是如果描述符的所有维度线性相关，那么无论多少维最终表达的信息和1维没有任何差别。

描述符相关矩阵设为${\mathbf{R}}^b={\left[r_{ij}^b\right]}_{F\times F}$ 对于图像 $b$，代表F个描述子相互之间的相关性。(概率论里面互相关函数)

$$r_{ij}^b=\frac{{\left({\mathbf{v}}_j^b?{\bar{v}}_j^b\right)}^T\left({\mathbf{v}}_i^b?{\bar{v}}_i^b\right)}{\sqrt{{\left({\mathbf{v}}_j^b?{\bar{v}}_j^b\right)}^T\left({\mathbf{v}}_i^b?{\bar{v}}_i^b\right)}\sqrt{{\left({\mathbf{v}}_j^b?{\bar{v}}_j^b\right)}^T\left({\mathbf{v}}_i^b?{\bar{v}}_i^b\right)}}$$

那么矩阵的非对角元素之和作为相关性评价损失：

$${\mathcal{L}}^{\text{decorr }}=\sum _{i?=j}^F\left(r_{ij}^{\mathrm{a}}\right)+\sum _{i?=j}^F\left(r_{ij}^{\mathrm{b}}\right)$$

对角元素为自己和自己的相关性，那肯定为一，没有意义，因此采用非对角元素之后代表各个描述符之间的相关性。

实验

评价标准

特征提取

• 重复率(RS)
  • $$\frac{在距离\rho 以内匹配上的特征点对数}{能够匹配上的所有特征点对数}$$
• 定位误差(LE)
  • 在距离$\rho$以内匹配上的特征点的平均误差（特征点对应的匹配点不超过另一张图片的范围即算能匹配上的点）

特征匹配

• 匹配得分(MS)
  • $$\frac{采用最近邻搜索能够匹配上，且误差在距离\rho 以内的特征点对数}{能够匹配上的所有特征点对数}$$
• 单应精度(HA)
  • 利用匹配点估计的单应矩阵和实际单应矩阵之间的误差

数据集

• HPatchs

结果

• 特征点提取

  • 提取结果达到了最优，比起传统方法好挺多
    

• 特征点匹配

  • 在误差较为宽松时较好
  • 误差非常严格时sift依旧非常优秀
    

速度

• 比SuperPoint要略快一些

总结

本文最大的意义在于向人们证明了，给定合适的损失函数，加上良好的网络结构，可以几乎完全由数据驱动，学习得到特征点的位置。但是论文没有直接将代码开源，有机会可以对其进行复现。