当前位置: 代码迷 >> 综合 >> 论文笔记Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer
  详细解决方案

论文笔记Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer

热度:36   发布时间:2024-01-28 05:19:21.0

CVPR 2020 去雾 SOTA 是
Efficient Unpaired Image Dehazing with Cyclic Perceptual-Depth Supervision arxiv链接
更多CVPR 2020论文请参考https://www.cnblogs.com/Kobaayyy/p/13163056.html

其中用到了单张图片的深度信息, 这给我们一个全新的思路.
引入深度是否可以提高下游任务的模型性能?

先上图感受一下深度加入去雾模型的效果:
CVPR2020去雾SOTA效果鲁迅说过:“Depth is among the most useful intermediate representations for action in physical environments” 深度是在物理环境中运动的最有用的特征之一

那么如何用深度网络学习深度呢?

这就是今天要讲的Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer arxiv链接

我们将回答下面四个问题:

  1. Describe what the authors of the paper aim to accomplish, or perhaps did achieve.
    这篇论文作者的目标是什么,或者也许已经实现了什么。
  2. If a new approach/technique/method was introduced in a paper, what are the key elements of the newly proposed approach?
    如果文中引入了一种新方法/技术,那么这一新提出的方法/技术的关键要素是什么?
  3. What content within the paper is useful to you?
    论文中,有哪些内容对你有用。
  4. What other references do you want to follow?
    你还想关注哪些参考资料/文献?

这篇论文作者的目标是什么,或者也许已经实现了什么?

如果文中引入了一种新方法/技术,那么这一新提出的方法/技术的关键要素是什么?

  1. 数据集 : 现有的深度数据集的场景不够丰富, 不能训练出一个在任意场景下都健壮的模型. 因此作者选择结合这些数据集
    在这里插入图片描述但是组合这些数据集有三个挑战:
  • 深度表达不同, 有的是0表示最近, 有的是0表示最远
  • 部分数据集没有提供缩放信息
  • 部分数据集提供了单张图像的相对深度(disparity), 但是跨数据集的相对深度无法直接转换
  1. 提出具有深度和偏移不变性的损失函数
    统一用Monocular relative depth perception with web stereo data supervision中提出的方法, 得到每张图像的相对深度(disparity map), 然后以disparity map作为输入训练模型, 避免的上面提到的3个问题
    令d为模型预测的disparity , d为groud truth disparity,
    先进行一个线性变换得到d_hat和d
    _hat, 这个一步是为了校准不同数据集的disparity map
    在这里插入图片描述
    具体的校准参数定义如下:
    在这里插入图片描述
    标准化一下:
    在这里插入图片描述
    现在可以定义一个具有深度和偏移不变性的损失函数的通用形式:
    在这里插入图片描述
    为了增加泛化能力, 去掉d-d*距离最大的20%的像素
    在这里插入图片描述
    再加上一个正则项, 惩罚x方向和y方向上的导数过大
    在这里插入图片描述

论文中,有哪些内容对你有用?

  1. 问题的转化
    为了解决数据本身存在深度不一致的问题, 转化成设计一个对深度不敏感的loss
  2. 预训练模型
    可以直接得到任意单张图像的深度信息, 用于下游任务的训练, 就像开头说的今年的去雾SOTA一样

你还想关注哪些参考资料/文献?

既然深度信息这种3维的特征对模型效果提升这么好, 还有哪些3维特征可以利用的, 暂时没想到

  相关解决方案