当前位置: 代码迷 >> 综合 >> 【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
  详细解决方案

【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》

热度:110   发布时间:2023-09-26 23:04:39.0

创新思想:

文章提出了一种用于光流估计的CNN模型,包括了三个部分:金字塔(Pyramid),扭曲(Warping),代价体积(Cost Volume)。每个画面有前后两个图,用第一个图的估计光流扭曲第二个图的CNN特征,将扭曲后的特征以及第一个图的特征构造一个代价体积,再来估计光流。

主要原理:

【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
左边是传统的coarese-to-fine方法,右边是这篇文章提出的PWC网络。

【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
第一幅图的光流扭曲第二幅图特征的公式。

【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
第二幅图被扭曲的光流及第一幅图的光流计算代价体积的公式。

【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
损失函数。

主要实验结果:

【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
不同模型的效果对比。
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
评价指标:EPE(Endpoint Error),是光流估计中标准的误差度量,是预测光流向量与真实光流向量的欧氏距离在所有像素上的均值。

虽然和别的模型相比PWC-Net的误差不是最小,但是在差别不大的情况下,明显提高了效率。我不是很清楚哪个要素更加关键,可能在自动驾驶领域计算时间是很重要的指标。
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
PWC-Net在训练集上的表现不如其他的,但是在测试集上明显要好很多。

【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
在自动驾驶领域的数据集上表现还是不错的。
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
在前景、后景、全景和非遮挡像素、所有像素下的正确率对比。
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
是否启用三个模块的效果对比。

【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
【论文浅读】《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》
PWC-Net的效果展示。

  相关解决方案