202406 arxiv

关于这几个MOE的详细实验

• 主要实验发现：
  • Mixtral可能包含具有独特属性的专家
  • DeepSeek和Grok的专家权重矩阵的相似性通常低于Mixtral（DeepSeek和Grok专家的矩阵级相似性通常接近零，而Mixtral专家的相似性平均约为0.3）
  • 如图1中的Mixtral热力图所示，不同专家的权重在较深层次的相似性较低（越深的层次，专家的多元性越大）
  • Wup、Wdown和 Wgate在其相似性热力图中共享相似的模式
  • 
  • 门控嵌入的相似性和 Wgate​ 的相似性表现出正相关
    • 
• Mixtral 和 DeepSeek 不同专家的输出在深层（最后几层）之间差异较大（差异更为明显）
  • 
• 专家输出的平均热力图类似于神经元级相似性图
  • ——>权重相似性度量可以反映输出相似性
• Grok专家展示出较高的输出相似性