PyTorch expand() 函数

1.官方解释

Tensor.expand(*sizes) -> Tensor：对一个张量进行扩张

返回的是一个 tensor 的 view，在 view 中，tensor 的单个维度（大小是 1 的维度）可以被扩展成更大的值，比如 size(1, 4) -> size(5, 4)

关于一个 tensor 的 view，详情可见 tensor的存储方式 + view() rehape() resize_() 区别_长命百岁?的博客-CSDN博客

如果我们在一个维度上输入函数参数是 -1，那么就意味着，我们不改变这一维的 size。

我们还可以给 tensor 增加新的维度，但是新的维度只能放在前面。对于新的维度，函数参数不能是 -1。

扩展函数并不会分配新的内存，只是创建了新的 veiw，将被扩大维度的 stride 设置为 0 了。任何 size 是 1 的维度，都可以在不分配内存的情况下，扩展到任意大小。

参数

• *sizes(torch.Size / int)—希望得到的扩展后的 size
• 扩充第 i 维时，是将 i+1 维及之后维度的数据作为整体，进行复制来扩充的

2.例子

2.1.扩展到更大维度

a = torch.randn(1, 1, 3)
b = a.expand(-1, 3, -1)
c = a.expand(3, 3, 3)
print(a)
print(b)
print(c)
>>tensor([[[ 0.6955, -0.0767, -0.8397]]])>>tensor([[[ 0.6955, -0.0767, -0.8397],[ 0.6955, -0.0767, -0.8397],[ 0.6955, -0.0767, -0.8397]]])>>tensor([[[ 0.6955, -0.0767, -0.8397],[ 0.6955, -0.0767, -0.8397],[ 0.6955, -0.0767, -0.8397]],[[ 0.6955, -0.0767, -0.8397],[ 0.6955, -0.0767, -0.8397],[ 0.6955, -0.0767, -0.8397]],[[ 0.6955, -0.0767, -0.8397],[ 0.6955, -0.0767, -0.8397],[ 0.6955, -0.0767, -0.8397]]])

• 我们使用的数据 a 有三个维度，分别为 0, 1, 2

• 对 b 来说，其第 1 维的 size 增加到了 3。多出来的数是用第 2 维的数来补充的。

  print(b.stride())
  >>(3, 0, 1)
  

  可见，第 1 维的 stride 变成了 0。也就是说我们沿着第 1 维走到下一个数字，还是它自己。也就是拿第 2 维的整体进行了复制，从而扩张了第 1 维。

• 对 c 来说。第 0 维和第 1 维的 size 都扩张到了 3。最后一维不受影响，因为最后一维的不是单维度的，不能扩张。

  print(c.stride())
  >>(0, 0, 1)
  

  第 0 维和第 1 维的 size 都扩张到了 3。扩张第 1 维的时候是复制第 2 维的总体来实现的，扩张第 0 维的时候是复制后面两维的总体来实现的。

2.2.添加新的维度

a = torch.randn(1, 3)
b = a.expand(3, -1, -1)
print(a)
print(b)
>>tensor([[-1.4421, -0.7991,  0.7458]])
>>tensor([[[-1.4421, -0.7991,  0.7458]],[[-1.4421, -0.7991,  0.7458]],[[-1.4421, -0.7991,  0.7458]]])

可见 b 的大小变成了 (3, 1, 1)，实现了在前面增加新的维度。而且给第 0 维增加维度，是用后面维度的整体进行扩充的。