内容一览:TVM 共有三种安装方法:从源码安装、使用 Docker 镜像安装和 NNPACK Contrib 安装。本文讲解如何通过 Docker 镜像 和 NNPACK Contrib 安装。
关键词:TVM Docker 基础教程
本文首发于微信公众号:HyperAI超神经
欢迎回到 TVM 文档讲解 101,这个系列将继续 TVM 的日常教学。
上期 Part 1 我们已经介绍了如何通过源码安装 TVM,本期将继续进行学习 TVM 前的准备工作。讲解通过 Docker 镜像和 NNPACK Contrib 安装 TVM。
TVM 安装之 Docker 镜像安装
开发者可以利用 Docker 工具脚本,建立开发环境。这也有助于运行 TVM Demo 和教程。
需要用到 Docker
https://docs.docker.com/engine/installation/
如果使用 CUDA 则需要 nvidia-docker。
https://github.com/NVIDIA/nvidia-docker/
获取 TVM 源码发行版或克隆 GitHub 仓库,以获取辅助脚本:
git clone --recursive https://github.com/apache/tvm tvm
使用以下命令来启动 Docker 镜像:
/path/to/tvm/docker/bash.sh <image-name>
完成本地构建后,这里的 image-name 可以是一个本地的 Docker 镜像名称,例如:tvm.ci_cpu 。
该辅助脚本可实现:
-
挂载当前目录到 /workspace
-
将用户切换为调用 bash.sh 的用户(这样您就可以读/写主机系统)
-
在 Linux 上使用宿主机的网络。由于无法支持主机网络驱动器,请在 macOS 上使用桥接网络并暴露 8888 端口,以使用 Jupyter Notebook。
输入以下内容启动 Jupyter Notebook:
jupyter notebook
如果你在 macOS 上启动 Jupyter Notebook 时看到报错 OSError: [Errno 99] Cannot assign requested address,可通过以下方式改变绑定的 IP 地址:
jupyter notebook --ip=0.0.0.0
注意,在 macOS 上,由于我们使用桥接网络,Jupyter Notebook 将被报告在一个类似于 http://{container_hostname}:8888/?token=... 的 URL 上运行。在浏览器中粘贴时,需把 container_hostname 替换为 localhost。
Docker 源代码
查看 Docker 源代码: 构建自己的 Docker 镜像。
https://github.com/apache/tvm/tree/main/docker
运行以下命令来构建 Docker 镜像:
/path/to/tvm/docker/build.sh <image-name>
你也可以利用非官方的第三方预建镜像,注意:这些镜像是用来测试的,并不是 ASF 的版本。
https://hub.docker.com/r/tlcpack/
TVM 安装之 NNPACK Contrib 安装
NNPACK 是用于神经网络计算的加速包,可以在 x86-64、ARMv7 或 ARM64 架构的 CPU 上运行。使用 NNPACK,像 MXNet 这样的高级库可以加快多核 CPU 计算机(包括笔记本电脑和移动设备)上的执行速度。
由于 TVM 已经有原生调整的调度,这里的 NNPACK 主要是为了参考和比较。对于常规使用,原生调整的 TVM 实现更佳。
TVM 支持 NNPACK 在卷积、最大池和全连接层中进行前向传播(仅限推理)。在本文档中,我们对如何将 NNPACK 与 TVM 一起使用进行了高级概述。
条件
NNPACK 的底层实现使用了多种加速方法,包括 fft 和 winograd。这些算法在某些特殊的批处理大小、内核大小和步幅设置上比其他算法效果更好,因此根据上下文,并非所有卷积、最大池或全连接层都可以由 NNPACK 提供支持。
NNPACK 仅支持 Linux 和 OS X 系统,目前不支持 Windows。
构建/安装 NNPACK
如果训练后的模型满足使用 NNPACK 的一些条件,则可以构建支持 NNPACK 的 TVM。
请按照以下简单步骤操作:使用以下命令构建 NNPACK 共享库。TVM 会动态链接 NNPACK。
注意:以下 NNPACK 安装指导已经在 Ubuntu 16.04 上进行了测试。
构建 Ninja
NNPACK 需要最新版本的 Ninja。所以我们需要从源代码安装 ninja。
git clone git://github.com/ninja-build/ninja.git
cd ninja
./configure.py --bootstrap
设置环境变量 PATH 以告诉 bash 在哪里可以找到 ninja 可执行文件。例如,假设我们在主目录 ~ 上克隆了 ninja。然后我们可以在 ~/.bashrc 中添加以下行。
export PATH="${PATH}:~/ninja"
构建 NNPACK
CMAKE 新版 NNPACK 单独下载 Peach 等依赖
https://github.com/Maratyszcza/PeachPy
注意:至少在 OS X 上,运行下面的 ninja install 会覆盖安装在 /usr/local/lib 中的 googletest 库。如果您再次构建 googletest 以替换 nnpack 副本,请务必将 -DBUILD_SHARED_LIBS=ON 传给 cmake。
git clone --recursive https://github.com/Maratyszcza/NNPACK.git
cd NNPACK# 在 CFLAG 和 CXXFLAG 中添加 PIC 选项以构建 NNPACK 共享库
sed -i "s|gnu99|gnu99 -fPIC|g" CMakeLists.txt
sed -i "s|gnu++11|gnu++11 -fPIC|g" CMakeLists.txt
mkdir build
cd build# 生成 ninja 构建规则并在配置中添加共享库
cmake -G Ninja -D BUILD_SHARED_LIBS=ON ..
ninja
sudo ninja install# 在你的 ldconfig 中添加 NNPACK 的 lib 文件夹
echo "/usr/local/lib" > /etc/ld.so.conf.d/nnpack.conf
sudo ldconfig
构建支持 NNPACK 的 TVM
git clone --recursive https://github.com/apache/tvm tvm
* 在 config.cmake 中设置 set(USE_NNPACK ON) 。
* 将 NNPACK_PATH 设置为 $(YOUR_NNPACK_INSTALL_PATH) 配置后使用 make 构建 TVM
make
登录 tvm.hyper.ai 可查看原始文档,后续超神经将继续更新中文 TVM 教程,请持续关注~
—— 完 ——