混合专家模型
2024/9/23 7:31:24
【大模型理论篇】Mixture of Experts(混合专家模型, MOE)
1. MoE的特点及为什么会出现MoE
1.1 MoE特点 Mixture of Experts（MoE，专家混合）【1】架构是一种神经网络架构，旨在通过有效分配计算负载来扩展模型规模。MoE架构通过在推理和训练过程中仅使用部分“专家”（子模型&am…
【大模型理论篇】Mixture of Experts(混合专家模型, MOE)
1. MoE的特点及为什么会出现MoE
1.1 MoE特点 Mixture of Experts（MoE，专家混合）【1】架构是一种神经网络架构，旨在通过有效分配计算负载来扩展模型规模。MoE架构通过在推理和训练过程中仅使用部分“专家”（子模型&am…