课程六学习笔记:Swin Transformer-1
- 1. Vision Transformer回顾
- 2. Swin Transformer
- 3. 实践:Swin transformer
1. Vision Transformer回顾
即使添加了Class-Token,实际上也保持着相同的Patch大小。
而对于一张图而言,做分类的话,Patch大一点,可以捕捉到很多的信息;但是做目标检测等其他任务而言,我们需要更小的粒度(调节Patch的大小),Patch很小,可能会带来计算量的问题;Patch正常可能会不能很好的做下游任务。——————Swin Transformer诞生