2. 多机多卡运行nccl-tests对比分析

devtools/2024/9/22 8:41:41/

系列文章

  • 第1章 多机多卡运行nccl-tests 和channel获取
  • 第2章 多机多卡nccl-tests 对比分析

目录

  • 系列文章
  • 前言
  • 一、本地环境
    • 1. 网卡接口
    • 2. RDMA
    • 3. TOPO信息
      • pcie信息
      • nvidia-smi topo -m
  • 二、nccl-test对比分析
    • 1. 相关环境变量
    • 2. 不同情况的对比
    • 3. 总结与分析

前言

NCCL（NVIDIA Collective Communications Library）是NVIDIA提供的一套用于GPU加速的通信库，主要用于在多个GPU之间进行数据传输和通信。它被设计为在异构计算环境中（包括NVIDIA GPU和CPU）高效地执行数据并行和模型并行。

NCCL是深度学习训练中的一个关键组件，因为它能够有效地在多个GPU之间传输数据，这对于加速神经网络的训练非常重要。在现代的深度学习框架中，如TensorFlow、PyTorch和Keras，NCCL通常作为后端通信库，与框架的API紧密集成，为用户提供一个简单易用的编程接口。

这里通过使用不同的网络配置，在双机进行了nccl-test测试，获得了不同的结果，并尝试进行简单分析。

一、本地环境

有2台机器，配置完全相同

1. 网卡接口

ifconfig的结果：

  • eno2为普通千兆以太网接口，最大带宽1Gbps；
  • ens9f0np0 和ens9f1np1为Mellanox 100G网卡的两个接口

在这里插入图片描述

2. RDMA

在这里插入图片描述

jxh@nccl4:~$ lspci |grep Mellanox //查看服务器中 mellaox 网卡信息
b1:00.0 Ethernet controller: Mellanox Technologies MT27800 Family [ConnectX-5]
b1:00.1 Ethernet controller: Mellanox Technologies MT27800 Family [ConnectX-5]jxh@nccl4:~$ ibdev2netdev //查看以太网设备与IB设备关联信息
mlx5_0 port 1 ==> ens9f0np0 (Up)
mlx5_1 port 1 ==> ens9f1np1 (Up)jxh@nccl4:~$ ibv_devices //查看RDMA设备device                 node GUID------              ----------------mlx5_0              08c0eb030024721amlx5_1              08c0eb030024721b

3. TOPO信息

pcie信息

可以通过nccl传入环境变量NCCL_TOPO_DUMP_FILE=./dump-topo.xml \来转储nccl搜索到的本机topo

设置NCCL_IB_DISABLE=1时本机信息如下:


<system version="1"><cpu numaid="1" affinity="ffff,fffff000,000000ff,fffffff0,00000000" arch="x86_64" vendor="GenuineIntel" familyid="6" modelid="106"><pci busid="0000:ca:00.0" class="0x060400" vendor="0x11f8" device="0x4000" subsystem_vendor="0x11f8" subsystem_device="0xbeef" link_speed="16.0 GT/s PCIe" link_width="16"><pci busid="0000:cd:00.0" class="0x030000" vendor="0x10de" device="0x2684" subsystem_vendor="0x7377" subsystem_device="0x0000" link_speed="16.0 GT/s PCIe" link_width="16"><gpu dev="0" sm="89" rank="0" gdr="0"/></pci><pci busid="0000:cf:00.0" class="0x030000" vendor="0x10de" device="0x2684" subsystem_vendor="0x7377" subsystem_device="0x0000" link_speed="16.0 GT/s PCIe" link_width="16"><gpu dev="1" sm="89" rank="1" gdr="0"/></pci></pci><pci busid="0000:b1:00.0" class="0x020000" vendor="0x15b3" device="0x1017" subsystem_vendor="0x15b3" subsystem_device="0x0007" link_speed="8.0 GT/s PCIe" link_width="8"><nic><net name="ens9f0np0" dev="1" speed="100000" port="0" latency="0.000000" guid="0x1" maxconn="65536" gdr="0"/></nic></pci><pci busid="0000:b1:00.1" class="0x020000" vendor="0x15b3" device="0x1017" subsystem_vendor="0x15b3" subsystem_device="0x0007" link_speed="8.0 GT/s PCIe" link_width="8"><nic><net name="ens9f1np1" dev="2" speed="100000" port="0" latency="0.000000" guid="0x2" maxconn="65536" gdr="0"/></nic></pci></cpu><cpu numaid="0" affinity="0000,00000fff,ffffff00,0000000f,ffffffff" arch="x86_64" vendor="GenuineIntel" familyid="6" modelid="106"><pci busid="0000:65:00.1" class="0x020000" vendor="0x8086" device="0x1521" subsystem_vendor="0xffff" subsystem_device="0x0000" link_speed="5.0 GT/s PCIe" link_width="4"><nic><net name="eno2" dev="0" speed="1000" port="0" latency="0.000000" guid="0x0" maxconn="65536" gdr="0"/></nic></pci></cpu>
</system>

正如以上topo显示：

  • 有两张4090，均为Pcie 4.0 *16
  • 一个100G网卡上的两个接口 均为 Pcie3.0 * 8

不设置NCCL_IB_DISABLE=1时本机信息如下:

<system version="1"><cpu numaid="1" affinity="ffff,fffff000,000000ff,fffffff0,00000000" arch="x86_64" vendor="GenuineIntel" familyid="6" modelid="106"><pci busid="0000:ca:00.0" class="0x060400" vendor="0x11f8" device="0x4000" subsystem_vendor="0x11f8" subsystem_device="0xbeef" link_speed="16.0 GT/s PCIe" link_width="16"><pci busid="0000:cd:00.0" class="0x030000" vendor="0x10de" device="0x2684" subsystem_vendor="0x7377" subsystem_device="0x0000" link_speed="16.0 GT/s PCIe" link_width="16"><gpu dev="0" sm="89" rank="0" gdr="0"/></pci><pci busid="0000:cf:00.0" class="0x030000" vendor="0x10de" device="0x2684" subsystem_vendor="0x7377" subsystem_device="0x0000" link_speed="16.0 GT/s PCIe" link_width="16"><gpu dev="1" sm="89" rank="1" gdr="0"/></pci></pci><pci busid="0000:b1:00.0" class="0x020000" vendor="0x15b3" device="0x1017" subsystem_vendor="0x15b3" subsystem_device="0x0007" link_speed="8.0 GT/s PCIe" link_width="8"><nic><net name="mlx5_0" dev="0" speed="100000" port="1" latency="0.000000" guid="0x1a72240003ebc008" maxconn="131072" gdr="0"/></nic></pci></cpu>
</system>

对比之前的topo 删除了eno2,enf9f0np0等，取而代之的是mlx5_0,这是因为nccl会自动使用速度快的。

nvidia-smi topo -m

在这里插入图片描述

二、nccl-test对比分析

1. 相关环境变量

以下为nccl用户手册的介绍：

NCCL_SOCKET_IFNAME 变量指定用于通信的IP接口。
NCCL_IB_DISABLE 变量禁用NCCL使用的IB/RoCE传输。相反，NCCL将回退到使用IP套接字,默认值为0。

以下就是对这两个环境变量进行控制来做的对比分析

2. 不同情况的对比

  1. IB disable=1，指定eno2——>实际使用eno2进行socket通信。
    顺便，这里的算法带宽algbw就是总的数据量除以时间。这里最大0.12GB/s=0.12*8=0.96Gbps≈1Gbps，已经非常接近千兆以太网支持的最大带宽了。在这里插入图片描述
  2. IB disable=1，指定ens9f0np0——>实际使用ens9f0np0（100G网卡接口）进行socket通信。
    这里最大算法带宽1.97GB/s=1.97*8=15.76Gbps<100Gbps，距离100G仍有差距。
    在这里插入图片描述
  3. IB disable=1，不指定网卡——>结果和情况2相同
  4. IB disable=1，指定eno2——>实际使用mlx5_0进行RoCE通信。
    这里最大算法带宽5.81GB/s=5.81*8=46.48Gbps，已经接近100G的一半。
    4
  5. IB disable=1，指定ens9f0np0——>结果和情况4相同
  6. 不设置IB disable，不指定用于socket通信的网卡——>结果和情况4相同，使用mlx5_0 RoCE,最大算法带宽5.81GB/s=5.81*8=46.48Gbps，即默认情况下nccl会选择最优的情况，在这里插入图片描述

这里有一个疑问，因为这台机子的mellanox网卡连接的是Pcie 3.0 *8 ，根据这个issue
Why { “16 GT/s”,120 } paired in kvDictPciGen?#1206
nccl中的带宽最大应该为6GB/s，而5.81已经比较接近，那这里限制带宽的因素是pcie嘛？

3. 总结与分析

将以上6种情况整理成表格：

序号IB_disableSOCKET_IFNAME最大算法带宽实际情况
11eno20.12 GB/suse eno2（1G）
21ens9f0np01.97 GB/suse 100G网卡
31不指定网卡1.97 GB/suse 100G网卡
40eno25.81 GB/suse RoCE
50ens9f0np05.81 GB/suse RoCE
6不设置（默认为0）不指定网卡5.81 GB/suse RoCE
  • 根据表格1-3条，禁用ib的情况下，除非明确指定eno2（千兆以太网接口，最大1Gbps），否则会自动使用速度快的ens9f0np0（100G网卡接口），根据第一个xml文件，也可以看到两者有着100倍的差距。
<net name="eno2" dev="0" speed="1000"
<net name="ens9f0np0" dev="1" speed="100000"
  • 根据表格4-6条，未明确禁用ib的情况下，无论指定哪一个socket ifname，结果都相同且是使用RoCE通信，这是因为nccl会自动使用带宽大的，即IB的优先级高于socket，在nccl info信息中也可以看到，nccl会先搜索ib设备，如果没找到或者用户显式禁用，才会回退到套接字，
  • 对应以上情况就是
    mlx_5(IB/RoCE) > ens9f0np0(socket) > eno2(socket)

http://www.ppmy.cn/devtools/22370.html

相关文章

【Go语言】接口类型（一）接口类型与接口的值

【Go语言】接口类型（一）接口类型与接口的值

本文是介绍golang接口类型的第一篇&#xff0c;主要介绍接口类型与接口类型的值的相关概念。 1. 静态类型、动态类型、动态值 所谓的静态类型&#xff08;即 static type&#xff09;&#xff0c;就是变量声明的时候的类型。 var age int // int 是静态类型 var name strin…
阅读更多...
Skill Check: Fundamentals of Large Language Models

Skill Check: Fundamentals of Large Language Models

Skill Check: Fundamentals of Large Language Models 完结&#xff01;
阅读更多...
LeetCode - 11.盛最多水的容器

LeetCode - 11.盛最多水的容器

一. 题目链接 LeetCode - 11.盛最多水的容器 二. 思路解释 利用双指针的思想&#xff0c;定义一个left和reght&#xff0c;left指向首部&#xff0c;right指向尾部&#xff0c;计算当前两个指针所对应的高度构成容器的体积。根据当前双指针所指的高度的大小&#xff0c;然后让…
阅读更多...
电力电子技术——PI调节器、电压环及电流环控制原理

电力电子技术——PI调节器、电压环及电流环控制原理

电力电子技术——PI调节器、电压环及电流环控制原理 PI调节器 PI调节器是一种常见的闭环控制器，用于调节系统的输出以使其接近期望值。PI调节器由两部分组成：比例（Proportional）和积分（Integral）。比例部分与误差成比例地产生控制输出，而积分部分则对误差进行积分，以…
阅读更多...
Windos环境下配置免费SSL证书详细步骤

Windos环境下配置免费SSL证书详细步骤

获取免费证书 配置本机模拟域名 打开如下目录&#xff0c;hosts文件 C:\Windows\System32\drivers\etc 添加如下配置并保存 127.0.0.1 im.test.com下载安装 OpenSSL 下载链接 进入bin目录&#xff0c; 打开cmd窗口 执行如下命令&#xff0c;生成RSA私钥 ## 使用des3…
阅读更多...
gitee关联picgo设置自己的typora_图床

gitee关联picgo设置自己的typora_图床

一&#xff1a;去gitee官网创建仓库&#xff1a;typora_图床 1.百度搜索关键字&#xff1a;gitee&#xff0c;进入官网 2.进入gitee登录或者注册自己的账号 3.进入主页后&#xff0c;点击右上方 4.点击新建仓库 5.设置仓库名&#xff1a;typora_图床 6.点击5的创建&#xff0…
阅读更多...
【Linux】信号的保存及处理

【Linux】信号的保存及处理

目录 一. 信号的保存1. sigset_t 信号集2. 信号集操作函数sigprocmask()sigpending() 二. 信号的处理1. 用户态和内核态2. 信号处理的过程3. 虚拟地址空间的内核空间4. sigaction 可重入函数volatileSIGCHLD 一. 信号的保存 信号概念的补充, 信号的四种状态: 信号产生(Produce…
阅读更多...
recat如何循环？

recat如何循环？

第一点 声明 声明第一个值 当前值 后面的是方法 需要set开头 声明前要导入import React, { useState } from react; 声明格式 &#xff1a; const 【inp&#xff0c;setinpt】 usestate&#xff08;&#xff09; setinp(res.data.data) 使用去赋值 循环代码 这是一个…
阅读更多...
最新文章

Copyright @ 2022~2023