当前位置: 代码迷 >> 综合 >> Pytorch中,读取图像的数据格式(dtype)对模型精度的影响(错误记录)
  详细解决方案

Pytorch中,读取图像的数据格式(dtype)对模型精度的影响(错误记录)

热度:26   发布时间:2023-10-20 19:39:34.0

今天在使用github开源的deeplabV2时,因为使用cv2.imread读取图像默认为uint8类型,导致分割精度很低。同时还发现一些别的问题,特此记录。

数据格式问题

总体来说就是:cv2.imread读取数据格式默认uint8,做数据归一化(预处理阶段)会导致精度缺失,最后导致分割精度下降

先看如下代码:

model = Res_Deeplab(21)
model.load_state_dict(t.load('./MS_DeepLab_resnet_trained_VOC.pth'))
model.eval()
model.cuda()img = np.zeros((513, 513, 3));# img_temp = cv2.imread('cat.jpg').astype(np.float32)img_temp = cv2.imread('cat.jpg')

我们构建模型类,同时用预训练模型参数导入模型。新建一个513x513大小的图像模板,用imread读取一张BGR,uint8类型的数据。注意注释的地方才是正确做法。

然后数据预处理过程如下:

# img_original = img_temp.copy()img_original = img_temp
img_temp[:, :, 0] = img_temp[:, :, 0] - 104.008
img_temp[:, :, 1] = img_temp[:, :, 1] - 116.669
img_temp[:, :, 2] = img_temp[:, :, 2] - 122.675

我们对图像数据按照BGR的训练集均值做0均值化处理。还将未处理的原图保存给另一个变量,用于后期显示原图进行结果对比。注释部分也是一个错误点待记录。

然后送入模型,发现结果如下:

Pytorch中,读取图像的数据格式(dtype)对模型精度的影响(错误记录)

可以看出精度损失的很厉害。我之所以会犯这个错误,不是因为我不知道imread读取默认为uint8,而是我认为做0均值化处理的时候,img_temp的数值会自动变成 np.float32类型,然后在减去那三个均值。结果发现并不是。因为之前学习C++,知道数据类型是往精度更高的类型自动转换的,看来对于这个转换方式不包含unsigned类型。

按照注释来,结果就正常了。

Pytorch中,读取图像的数据格式(dtype)对模型精度的影响(错误记录)

 

cv2.imread读取的数据作为赋值,被赋值的变量和原始变量有相同的地址

看如下代码。

img_temp = cv2.imread('cat.jpg').astype(np.float32)
a = img_temp
print(id(img_temp)==id(a))'''
>>> True
'''

后面要对img_temp做0均值化,其实也修改了a的值,我们本意想让a保存原图信息,但现在也修改了a的值。所以正确的做法是:

img_temp = cv2.imread('cat.jpg').astype(np.float32)
img_original = img_temp.copy()
img_temp[:, :, 0] = img_temp[:, :, 0] - 104.008
img_temp[:, :, 1] = img_temp[:, :, 1] - 116.669
img_temp[:, :, 2] = img_temp[:, :, 2] - 122.675

这样二者就不是相同地址的变量了。修改一种一个不会影响另一个。

  相关解决方案