深度学习02-pytorch-03-张量的数值计算

张量（Tensor）是多维数组的通用化概念，它可以表示标量（0维）、向量（1维）、矩阵（2维）以及更高维度的数据。在深度学习和数值计算中，张量是基础数据结构，特别是在 PyTorch 和 TensorFlow 等框架中，张量用于存储和操作数据。张量的数值计算可以包括基本的算术操作、线性代数运算、自动微分等。

下面我们来详细讨论张量的数值计算，包括常用的操作和具体示例。

1. 张量的创建

可以通过不同的方式创建张量，包括从列表、数组等生成张量。

import torch# 创建一个标量张量
scalar = torch.tensor(5)
print(scalar)# 创建一个向量（1维张量）
vector = torch.tensor([1.0, 2.0, 3.0])
print(vector)# 创建一个矩阵（2维张量）
matrix = torch.tensor([[1, 2], [3, 4]])
print(matrix)# 创建一个3维张量
tensor_3d = torch.tensor([[[1, 2], [3, 4]], [[5, 6], [7, 8]]])
print(tensor_3d)

2. 张量的基本运算

张量可以进行各种基本的算术运算，如加法、减法、乘法、除法等。张量的这些操作可以是逐元素操作（element-wise），即对每个位置的元素进行操作。

加法、减法、乘法、除法

a = torch.tensor([1, 2, 3])
b = torch.tensor([4, 5, 6])
print(a)
print(b)# 逐元素加法
print(a + b)# 逐元素减法
print(a - b)# 逐元素乘法
print(a * b)# 逐元素除法
print(a / b)

3. 矩阵乘法

对于 2 维张量（矩阵），可以进行矩阵乘法。

A = torch.tensor([[1, 2], [3, 4],[5,6]])
B = torch.tensor([[5, 6], [7, 8]])
print(A)
print(B)# 矩阵乘法（@ 操作符）
C = A @ B
print(C)

矩阵乘法的结果会是两个矩阵的行与列相乘求和后的结果。

4. 广播机制（Broadcasting）

当张量的形状不同，但可以通过扩展成兼容的形状进行运算时，PyTorch 会自动应用广播机制。广播是为了避免手动调整张量形状，使得小尺寸的张量与大尺寸张量进行兼容的运算。

x = torch.tensor([1, 2, 3])
y = torch.tensor([[1], [2], [3]])
print(x)
print(y)# 逐元素相加，广播机制会将 y 扩展为 [3,3] 的大小
print(x + y)

5. 张量的维度操作

可以对张量的维度进行变换，如改变形状、添加或移除维度。

改变张量形状（Reshape）

tensor = torch.tensor([[1, 2, 3], [4, 5, 6]]) # (2 ,3)
print(tensor)
reshaped_tensor = tensor.view(3, 2)  # 改变形状为 (3, 2)
print(reshaped_tensor)

添加和移除维度

# 添加维度
tensor = torch.tensor([1, 2, 3])
print(tensor)
tensor_unsqueeze = tensor.unsqueeze(0)  # 在第0维添加一个维度
print(tensor_unsqueeze)# 移除维度
tensor_squeeze = tensor_unsqueeze.squeeze()  # 移除多余的1维
print(tensor_squeeze)

6. 线性代数运算

张量支持各种线性代数运算，如矩阵转置、矩阵求逆、矩阵分解等。

矩阵转置

A = torch.tensor([[1, 2], [3, 4]])
print(A)
A_transposed = A.T  # 或者使用 A.transpose(0, 1)
print(A_transposed)

矩阵求逆

A = torch.tensor([[1.0, 2.0], [3.0, 4.0]])
print(A)
A_inverse = torch.inverse(A)
print(A_inverse)

矩阵行列式

A = torch.tensor([[1.0, 5.0], [3.0, 4.0]])
print(A)
det_A = torch.det(A)
print(det_A)

7. 自动微分

PyTorch 中的张量可以通过设置 requires_grad=True 来启用自动微分功能。在反向传播时，PyTorch 会自动计算梯度。

# 创建张量并启用梯度
x = torch.tensor(2.0, requires_grad=True)# 定义一个简单的函数
y = x ** 2# 计算梯度（反向传播）
y.backward()# 查看梯度（dy/dx）
print(x.grad)  # 输出为 4.0

8. 随机数生成

张量可以通过多种方式生成随机数。

# 生成标准正态分布的随机数
random_tensor = torch.randn(3, 3)
print(random_tensor)# 生成均匀分布的随机数
uniform_tensor = torch.rand(3, 3)
print(uniform_tensor)

9. GPU 加速计算

PyTorch 支持将张量移动到 GPU 上进行加速计算。

# 检查是否有可用的 GPU
if torch.cuda.is_available():device = torch.device('cuda')tensor = torch.tensor([1.0, 2.0, 3.0], device=device)print(tensor)

总结

张量是多维数组的泛化，广泛应用于深度学习和数值计算。通过基本的算术操作、线性代数运算、维度操作等，我们可以高效地处理大规模数据。同时，PyTorch 还支持自动微分和 GPU 加速，这使得它在深度学习领域非常流行。