模型并行（Model Parallelism）
模型并行是指将深度学习模型的不同部分分配到多个计算设备（如GPU、TPU或多个服务器节点）上进行计算，以便处理大规模的模型或者数据。这种并行化方法主要是为了应对模型太大，单个设备无法容纳或处理的情况。模型并行通过将模型的不同层、模块或参数分配到不同的硬件资源上，实现更高效的计算和存储。
模型并行的工作原理
在深度学习中，模型的大小和复杂度不断增加，尤其是在处理大规模神经网络（如大型Transformer模型、BERT、GPT等）时，单个设备的内存和计算能力常常不足以支持整个模型的训练和推理。因此，模型并行可以将大模型分割成多个部分并分布在不同的设备上，进行并行计算和存储。
按层划分模型并行
层级模型并行是最简单的模型并行方法，将神经网络的不同层分配给不同的设备。每个设备负责计算网络的部分层（例如，第一层到第N层在GPU1上计算，第N+1层到最后一层在GPU2上计算）。这种方法在每次前向传播和反向传播时，需要不同设备之间的通信。例如，GPU1计算完第一部分后，必须将结果传递给GPU2进行后续计算。
