当前位置: 代码迷 >> 综合 >> 神经网络-池化层
  详细解决方案

神经网络-池化层

热度:62   发布时间:2023-11-22 21:16:24.0

池化层:

一种形式的降采样
理解:在发现一个特征之后,它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小,因此参数的数量和计算量也会下降,这在一定程度上也控制了过拟合。

作用:
特征不变性
特征降维(下采样)
在一定程度上防止过拟合
实现非线性(类似relu)
扩大感受野

常见的池化层:

最大池化、平均池化、全局平均池化、全局最大池化
重叠池化
空金字塔池化

以最大池化为例:

参数:

在这里插入图片描述

kernel_size :表示做最大池化的窗口大小,可以是单个值,也可以是tuple元组
stride :步长,可以是单个值,也可以是tuple元组
padding :填充,可以是单个值,也可以是tuple元组
dilation :控制窗口中元素步幅
return_indices :布尔类型,返回最大值位置索引
ceil_mode :布尔类型,为True,用向上取整的方法,计算输出形状;默认是向下取整

理解:

如果池化核为一个kernel size=3的,
ceil_mode为True,分析下过程,首先,池化核在初始位置,
即在:

[1,2,0],
[0,1,2],
[1,2,1]

检测到最大值为2,输出2
在这里插入图片描述
然后向右移动,发现不足9个,只有6个
即:

[[3,1],[3,1],0,0]]

因为参数中ceil_mode为True,所以我们就按这6个找最大值
输出3。然后我们往下依次进行池化
结果等于

[[2,3],[5,1]]

若参数中ceil_mode为False,那么我们那些不足池化核面积的,本示例中指不足3x3的会直接舍去,所以结果为 2

代码示例:

import torch
from torch import nn
from torch.nn import MaxPool2dinput = torch.tensor([[1,2,0,3,1],[0,1,2,3,1],[1,2,1,0,0],[5,2,3,1,1],[2,1,0,1,1]],dtype=float)
input =torch.reshape(input,(-1,1,5,5))class Test(nn.Module):def __init__(self):super(Test, self).__init__()self.maxpool = MaxPool2d(kernel_size=3,ceil_mode=True)def forward(self,input):output = self.maxpool(input)return output
test = Test()
output = test(input)
print(output)

在ceil_mode为True时
输出为:

tensor([[[[2., 3.],[5., 1.]]]], dtype=torch.float64)

在ceil_mode为False时
输出为:

tensor([[[[2.]]]], dtype=torch.float64)

代码注意:

这里在写input时要注意数据的类型,如果不加dtype则会报错

以图片来进行演示最大池化

import torch
import torchvision
from torch import nn
from torch.nn import MaxPool2d
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterdataset = torchvision.datasets.CIFAR10("dataset2",train=False,transform=torchvision.transforms.ToTensor(),download=False)
dataloader = DataLoader(dataset,batch_size=64)class Test(nn.Module):def __init__(self):super(Test, self).__init__()self.maxpool = MaxPool2d(kernel_size=3,ceil_mode=False)def forward(self,input):output = self.maxpool(input)return output
test = Test()
step =0
writer = SummaryWriter("logs")
for data in dataloader:imgs,target = datawriter.add_image("input",imgs,step,dataformats="NCHW")output = test(imgs)writer.add_image("output",output,step,dataformats="NCHW")step+=1
writer.close()

在这里插入图片描述

仅作为个人学习总结

  相关解决方案