当前位置: 代码迷 >> 综合 >> 论文阅读笔记《SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning》
  详细解决方案

论文阅读笔记《SimpleShot: Revisiting Nearest-Neighbor Classification for Few-Shot Learning》

热度:57   发布时间:2024-02-11 08:58:36.0

核心思想

??本文提出一种基于最近邻方法的小样本学习算法(SimpleShot),作者指出目前大量的小样本学习算法都采用了元学习的方案,而作者却发现使用简单的特征提取器+最近邻分类器的方法就能实现非常优异的小样本分类效果。本文首先用特征提取网络 f θ f_{\theta} +线性分类器在一个基础数据集上对网络进行训练,将训练得到的特征提取网络增加一个简单的特征变换(中心化和L2规范化),再加上一个最近邻分类器,直接对小样本数据集进行分类。
中心化是指先计算整个基础数据集上特征向量的平均值,然后用小样本数据集的特征向量减去该均值,L2规范化是指图像的特征向量除以特征向量的L2范数。最近邻分类器中的距离度量函数采用欧氏距离。
实验结果表明当特征提取网络结构比较简单时(如4-Conv),SimpleShot的性能略差于其他的元学习算法如PN,MN等,但随着网络结构变得更加复杂(如ResNet-18,WRN-28-10),特征提取网络的表征能力不断增强后,SimpleShot算法的性能与其他经过精心设计的元学习算法非常接近,甚至在一些数据集上已经超过其他采用元学习方案的算法。

创新点

  • 采用简单的网络结构和训练模式,达到了同级别元学习算法相近甚至更优的性能
  • 对特征向量进行简单的特征变换能够有效提高网络的性能

算法评价

??其实本文与这篇文章《A closer look at few-shot classification》的思路是相同的,他们都认为采用简单的特征提取+最近邻分类的方法就能很好的实现小样本学习任务,其性能并不弱于其他复杂的元学习算法。本文则更进一步发现使用相对复杂的网络结构+简单的特征变换,其分类性能甚至可以超过结构相同的其他元学习算法。这不禁让我们思考到底什么才是决定小样本分类性能的因素,那些精细的结构设计,训练策略,损失函数真的能起到根本作用吗?

如果大家对于深度学习与计算机视觉领域感兴趣,希望获得更多的知识分享与最新的论文解读,欢迎关注我的个人公众号“深视”。在这里插入图片描述

  相关解决方案