Infiniband 驱动安装---(HCA光纤)
环境：Linux CentOS 6.8
官网驱动ISO包，从官网下载（根据系统的类型和型号下载）：
http://www.mellanox.com/page/products_dyn?product_family=26&mtag=linux_sw_drivers
挂载ISO包
# mount -o ro,loop MLNX.iso /mnt
使用下面的命令安装
# ./mlnxofedinstall
gcc-gfortran rpm is required to install openshmem
gcc-gfortran rpm is required to install openmpi_gcc
提示需要先安装gcc-gfortran再安装驱动
# yum -y install gcc-gfortran
安装记录如下
# ./mlnxofedinstall
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, or Distribution IB packages will be removed.
Do you want to continue?[y/N]:y
Starting MLNX_OFED_LINUX-1.5.3-4.0.42 installation ...
Installing mlnx-ofa_kernel RPM
Preparing... ##################################################
mlnx-ofa_kernel ##################################################
Installing kmod-mlnx-ofa_kernel RPM
Preparing... ##################################################
kmod-mlnx-ofa_kernel ##################################################
Installing kmod-mlnx-ofa_kernel-xen RPM
Preparing... ##################################################
kmod-mlnx-ofa_kernel-xen ##################################################
Installing mlnx-ofa_kernel-devel RPM
Preparing... ##################################################
mlnx-ofa_kernel-devel ##################################################
Installing kernel-mft RPM
Preparing... ##################################################
kernel-mft ##################################################
Installing knem RPM
Preparing... ##################################################
knem ##################################################
Installing mpi-selector RPM
Preparing... ##################################################
mpi-selector ##################################################
Installing user level RPMs:
Preparing... ##################################################
ofed-scripts ##################################################
Preparing... ##################################################
libibverbs ##################################################
Preparing... ##################################################
libibverbs-devel ##################################################
Preparing... ##################################################
libibverbs-devel-static ##################################################
Preparing... ##################################################
libibverbs-utils ##################################################
Preparing... ##################################################
libmthca ##################################################
Preparing... ##################################################
libmthca-devel-static ##################################################
Preparing... ##################################################
libmverbs ##################################################
Preparing... ##################################################
libmlx4 ##################################################
Preparing... ##################################################
libmlx4-devel ##################################################
Preparing... ##################################################
libmverbs-devel ##################################################
Preparing... ##################################################
libmqe ##################################################
Preparing... ##################################################
libmqe-devel ##################################################
Preparing... ##################################################
libcxgb3 ##################################################
Preparing... ##################################################
libcxgb3-devel ##################################################
Preparing... ##################################################
libnes ##################################################
Preparing... ##################################################
libnes-devel-static ##################################################
Preparing... ##################################################
libipathverbs ##################################################
Preparing... ##################################################
libipathverbs-devel ##################################################
Preparing... ##################################################
libibcm ##################################################
Preparing... ##################################################
libibcm-devel ##################################################
Preparing... ##################################################
libibumad ##################################################
Preparing... ##################################################
libibumad-devel ##################################################
Preparing... ##################################################
libibumad-static ##################################################
Preparing... ##################################################
libibmad ##################################################
Preparing... ##################################################
libibmad-devel ##################################################
Preparing... ##################################################
libibmad-static ##################################################
Preparing... ##################################################
ibsim ##################################################
Preparing... ##################################################
ibacm ##################################################
Preparing... ##################################################
librdmacm ##################################################
Preparing... ##################################################
librdmacm-utils ##################################################
Preparing... ##################################################
librdmacm-devel ##################################################
Preparing... ##################################################
libsdp ##################################################
Preparing... ##################################################
libsdp-devel ##################################################
Preparing... ##################################################
opensm-libs ##################################################
Preparing... ##################################################
opensm ##################################################
Preparing... ##################################################
opensm-devel ##################################################
Preparing... ##################################################
opensm-static ##################################################
Preparing... ##################################################
compat-dapl ##################################################
Preparing... ##################################################
compat-dapl-devel ##################################################
Preparing... ##################################################
dapl ##################################################
Preparing... ##################################################
dapl-devel ##################################################
Preparing... ##################################################
dapl-devel-static ##################################################
Preparing... ##################################################
dapl-utils ##################################################
Preparing... ##################################################
perftest ##################################################
Preparing... ##################################################
mstflint ##################################################
Preparing... ##################################################
mft ##################################################
Preparing... ##################################################
sdpnetstat ##################################################
Preparing... ##################################################
srptools ##################################################
Preparing... ##################################################
rds-tools ##################################################
Preparing... ##################################################
rds-devel ##################################################
Preparing... ##################################################
ibutils2 ##################################################
Preparing... ##################################################
ibutils ##################################################
Preparing... ##################################################
cc_mgr ##################################################
Preparing... ##################################################
dump_pr ##################################################
Preparing... ##################################################
ar_mgr ##################################################
Preparing... ##################################################
ibdump ##################################################
Preparing... ##################################################
infiniband-diags ##################################################
Preparing... ##################################################
qperf ##################################################
Preparing... ##################################################
fca ##################################################
INFO: updating ...
IMPORTANT NOTE:
===============
- The FCA Manager and FCA MPI Runtime library are installed in /opt/mellanox/fca directory.
- The FCA Manager will not be started automatically.
- To start FCA Manager now, type:
/etc/init.d/fca_managerd start
- There should be single process of FCA Manager running per fabric.
- To start FCA Manager automatically after boot, type:
/etc/init.d/fca_managerd install_service
- Check /opt/mellanox/fca/share/doc/fca/README.txt for quick start instructions.
Preparing... ##################################################
mxm ##################################################
Preparing... ##################################################
openshmem ##################################################
Preparing... ##################################################
bupc ##################################################
Preparing... ##################################################
infinipath-psm ##################################################
Preparing... ##################################################
infinipath-psm-devel ##################################################
Preparing... ##################################################
mvapich_gcc ##################################################
Preparing... ##################################################
mvapich2_gcc ##################################################
Preparing... ##################################################
openmpi_gcc ##################################################
Preparing... ##################################################
mpitests_mvapich_gcc ##################################################
Preparing... ##################################################
mpitests_mvapich2_gcc ##################################################
Preparing... ##################################################
mpitests_openmpi_gcc ##################################################
Preparing... ##################################################
mlnxofed-docs ##################################################
Device (41:00.0):
41:00.0 InfiniBand: Mellanox Technologies MT26428 [ConnectX VPI PCIe 2.0 5GT/s - IB QDR / 10GigE] (rev b0)
Link Width: 8x
PCI Link Speed: 5Gb/s
Installation finished successfully.
The firmware version on the device /dev/mst/mt26428_pci_cr0 - 2.9.8350 is newer than provided version 2.9.1000. No update required for /dev/mst/mt26428_pci_cr0.
Note: To force firmware update use '--force-fw-update' flag.
Configuring /etc/security/limits.conf.
(备用：echo y | /home/isotmp/mlnxofedinstall --basic --msm --umad-dev-rw --hugepages-overcommit)
（在能联网并且可以使用网络上yum的前提下可以这样安装
yum groupinstall "Infiniband Support" //安装需要的包
yum install infiniband-diags perftest qperf opensm //安装必要的操作包
）
安装完重启机器：# reboot
查看服务（一般正常安装完会有两个服务openlibd和opensmd）
# chkconfig --list | grep open
openibd 0:off 1:off 2:off 3:off 4:off 5:off 6:off
opensmd 0:off 1:off 2:off 3:off 4:off 5:off 6:off
启动服务，先启动ibd后启动smd
# service openibd restart
# service opensmd restart
开机启动openlibd服务(只启动ib也可以，但首次扫描的时候需要把sm启动后再扫描)
# chkconfig openibd on
查看端口状态
# ibstat
状态变为active，则可以和其他端口通信
查询访问端各光纤*号并在存储端（targetcli里）绑定
(1)先查看本机的光纤***号
# cat /sys/class/infiniband/*/ports/*/gids/0 | sed -e s/fe80/0x0000/ -e 's/\://g'
(2)在存储端绑定查询出来的号(使用ISCSI的target服务)
# targetcli
/> /backstores/block create storage_disk1 /dev/sdb
/> /srpt create 0x00000000000000000002c903004e5637
/> /srpt create 0x00000000000000000002c903004e5638
/> /srpt/0x00000000000000000002c903004e5637/acls 0x00000000000000000002c903004e29bd
/> /srpt/0x00000000000000000002c903004e5637/acls 0x00000000000000000002c903004e29be
/> /srpt/0x00000000000000000002c903004e5637/acls 0x00000000000000000002c903004e55e3
/> /srpt/0x00000000000000000002c903004e5637/acls 0x00000000000000000002c903004e55e4
/> /srpt/0x00000000000000000002c903004e5638/acls 0x00000000000000000002c903004e29bd
/> /srpt/0x00000000000000000002c903004e5638/acls 0x00000000000000000002c903004e29be
/> /srpt/0x00000000000000000002c903004e5638/acls 0x00000000000000000002c903004e55e3
/> /srpt/0x00000000000000000002c903004e5638/acls 0x00000000000000000002c903004e55e4
--11
0x00000000000000000002c903004e55e3
0x00000000000000000002c903004e55e4
--12
0x00000000000000000002c903004e29bd
0x00000000000000000002c903004e29be
回到访问端加载ib_srp并且确保SM是启动的
# modprobe ib_srp
# service opensmd restart
扫描（前提是服务端已弄好）----如果未发现此命令，查看srptools-0.0.4mlnx3-1（这个是redhat5.8版本的）软件包是否安装了
# srp_daemon -e -o
PS：
显示光纤网络中所有链路的链路信息：iblinkinfo
如多路径未能全部扫描出来，执行srp_daemon.sh
