当前位置: 代码迷 >> 综合 >> Fully Convolutional Networks for Semantic Segmentation 论文解读
  详细解决方案

Fully Convolutional Networks for Semantic Segmentation 论文解读

热度:57   发布时间:2023-10-12 00:28:23.0

写在前面:纯属个人理解,如有错误,请各位大佬赐教,小弟拜谢(一颗行走的大白菜)
这篇文章证明了,通过fine-tune 做分类的networks(AlexNet ,VGGnet,GoogleNet),去做semantic segmentation,在效率和精度上都out performance the-state-of-art.这篇paper 由此开辟了用deep learning 的方法做 semantic segmentation 的时代。这里先给出这几年用深度学习做semantic segmentation 的一个review。Fully Convolutional Networks for Semantic Segmentation 论文解读

一 介绍

作者改造classification Networks 的想法不是第一人,在此之前,已经有人通过改造classification Networks 在object detection ,part and key-point prediction 取得过较好的results。第一个改造 classification network 变成 fully convolutional network 的the author 也不是第一个。但是改造classification network 来做 semantic segmentation 并且取得很好的结果作者是第一人,由此引发了用deep learning 研究 semantic segmentation 的热潮。由此可见,你写的文章可以不是第一提出ideal 的,但也可以写出影响力的paper(想发paper的童鞋停留3秒想一下。。。)。作者提出模型的得意之处在于两点:
this is the first work to train FCNs end-to-end (1) for pixelwise prediction and (2) from super- vised pre-training.

这篇paper的工作很大,体现在,作者改造了AlexNet,VGG16, googleNet (这个网络fine -tuning 后的效果不太好,z在paper中一笔带过),这三个网络,每个网络又分三个层次fine-tuning ,比如:fcn-32s,fcn-16,fcn-8s.另一方面the author 测试了3个数据库:PASCAL VOC ,NYUDv2,SIFT Flow,每个数据库上又与之前很多方法进行比较。

二模型介绍

先给出可视化的网络架构图,以sift-fcn32s,sift-fcn16s,sift-8s.为例。其他的模型github上自取 https://github.com/shelhamer/fcn.berkeleyvision.org

fcn32 ,fcn16,fcn8 整体示意图:
Fully Convolutional Networks for Semantic Segmentation 论文解读
图一

fcn32s网络结构图

,这里不给出一一解释,想了解具体参数的,可以参考源代码。由于图太长,我只好分两部分分别展示:Fully Convolutional Networks for Semantic Segmentation 论文解读Fully Convolutional Networks for Semantic Segmentation 论文解读

先看左边,再看右边,这是fcn32网络结构图。

fcn-16s网络结构图

对照着,图一的fcn16的示意图来看。
Fully Convolutional Networks for Semantic Segmentation 论文解读Fully Convolutional Networks for Semantic Segmentation 论文解读

fcn-8s网络结构图

同理可以对照着,图一的fcn-8s来看

Fully Convolutional Networks for Semantic Segmentation 论文解读Fully Convolutional Networks for Semantic Segmentation 论文解读

总结:只要把其中一个模型的代码弄清楚,其他的模型都很类似,不一一介绍。
一颗行走的大白菜

  相关解决方案