Broadcasting广播机制

Broadcasting机制用于在不同维度的张量进行运算时进行维度的自动增加与扩展，Broadcasting机制使用的前提是两个参与运算的张量是可broadcastable的。

Broadcastable

怎样的两个向量是Broadcastable的，也就是可使用Broadcasting机制的？
规定右边的维度为小维度，即shape(2,32,13,13)中右边的13为最小的维度
张量x和张量y如果符合以下条件就是broadcastable的：

将x的shape与y的shape按照最右边的最小维度对齐，从小维度开始向左看：对于每一个二者都有的维度，如果x在该维度的大小为1或y在该维度的大小为1或二者都是1，或者二者在该维度的大小都不是1但是二者维度大小相等。

例如：

example 1： x，y，z中任意两个张量是broadcastable的
x.shape = [2, 3, 4]
y.shape = [3, 4]
z.shape = [4]

对于x和z，按照小维度对齐后,在最小的维度上x和z的维度大小都是4，符合规则。
对于x和y，按照小维度对齐后,在最小的维度上x和y的维度大小都是4，在次小维度上x和y的维度大小都是3，也符合规则。

example 2：x，y不是broadcastable的
x.shape = [4, 5, 13, 13]
y.shape = [4, 13, 1]

对于x和y，按照小维度对齐后，最小维度上y的维度大小为1，该维度符合，次小维度上x的维度大小和y的维度大小相等，该维度符合，但是在第三小维度上x的维度大小为5，而y的维度大小为4，二者非1且不相等，所以不符合broadcasting的规则。

当两个broadcastable的符合broadcasting规则的张量在进行相加时，会自动使用维度增加和扩展运算使两个张量拥有相同的维度并计算，维度增加和扩展的规则如下：

将x的shape与y的shape按照最右边的最小维度对齐，从小维度开始向左看：对于每一个二者都有的维度，将该维度扩展到二者的最大值；当其中一个张量的维度已经不存在，而另一个张量维度更多时，则给维度少的张量插入新的维度，使二者维度数量保持一致，同时也要将该维度扩展到二者中在该维度大小的最大值。

例如：

tensor a = [1, 2, 3]
tensor b = [10,
                  20,
                  30,
                  40]

将维度对齐后：

张量a和b扩展的详细过程：

a = torch.tensor([1, 2, 3])
b = torch.tensor([[10],[20],[30],[40],
])
print(f"{a.shape} + {b.shape} = {(a+b).shape}")
print(a+b)

在这里插入图片描述

另一个示例：

x = torch.randint(0, 2, [3, 1])
y = torch.randint(0, 2, [4])
print(f"{x.shape} + {y.shape} = {(x+y).shape}")

在这里插入图片描述